元宝-大模型推理加速工程师

1.负责大模型训练和推理系统的研发与性能优化，包括但不限于：模型计算性能优化、分布式大模型推理系统、大规模推理流量调度等；
2.负责解决系统高并发、高可靠性、高可扩展性等技术难关；
3.负责大模型训练和推理前瞻性技术架构的调研和引入，技术方案不限于子图匹配、编译优化、模型量化、本地及mooncake分布式kv store等；
4.与算法部门深度合作，进行算法与系统的联合优化。

1.职位要求；
2.熟练掌握 Linux 环境下的Rust/C++与Python语言，有大规模机器学习系统相关经验；
3.熟悉至少一种机器学习框架（Tensorflow/PyTorch或其他自研框架）；
4.熟悉至少一种大模型训练/推理框架，包括但不限于：vLLM、SGLang、TensorRT-LLM等；
5.具有独立解决问题的能力，良好的团队合作精神，具备优秀的复杂问题拆解能力；
6.有强烈的工作责任心，较好的学习能力、沟通能力和自驱力。。加分项：1.理解GPU硬件架构，理解 GPU 软件栈（CUDA，cutlass)，具备GPU性能分析的经验。