混元强化训练框架研发工程师(深圳/北京/上海/杭州)Apply |
|
Job Source |
腾讯集团 |
Location |
China, Shenzhen |
Salary |
Negotiable |
Designation |
Internet/AI |
Job Type |
Full Time |
Language |
|
Job Posted Date |
01-09-2025 |
Job Description |
|
1.参与开发大模型RL训练框架,支持千卡或万卡规模高效稳定RL训练;
2.参与文生文、多模态理解、多模态生成等业务的RL训练加速,并联合业务进行模型效果验证; 3.参与训练、推理、参数传输等模块开发和优化; 4.参与训推分离、partial rollout、agent场景开发和优化。 |
|
Job Requirements |
|
1.熟悉PyTorch、Megatron等框架,掌握3D并行、ZeRO机制、Flash-Attn等的原理、使用场景、优劣势以及可优化方向;
2.熟悉使用主流推理框架,如vLLM、SGLang,掌握kvcache、量化、投机采样、算子优化等推理优化方法; 3.熟悉常见RL训练算法,如DPO、GRPO、PPO等,理解不同算法的差别和使用场景; 4.熟悉Ray框架,有Ray框架优化经验者优先; 5.熟练掌握CUDA性能优化手段,有算子编写优化项目经验者优先; 6.对大模型、强化学习前沿技术比较敏锐者优先; 7.有实际大模型RL训练,性能和效果优化经验的优先; 8.良好的沟通能力、解决问题能力。。加分项: |
Welcome to Linkedtour! Please complete your profile first and then enjoy your trip in Linkedtour!
Please complete now your information at our partner site and click to apply. Good luck !