腾讯云大数据TBDS-后台高级研发工程师-深圳/上海/北京Apply |
|
Job Source |
腾讯集团 |
Location |
China, Shenzhen |
Salary |
Negotiable |
Job Type |
Full Time |
Language |
|
Job Posted Date |
20-06-2025 |
Job Description |
|
1.负责大数据平台的架构设计、开发和优化。优化计算引擎性能,对分布式存储做访问加速优化;
2.能深入分析和优化湖仓计算引擎查询性能,包括动态连接重排序、动态分区剪枝、自动处理数据倾斜和动态优化等; 3.负责分布式存储系统的管理和优化,提升数据访问性能,特别是在存算分离场景下的数据读写访问优化与加速; 4.提高大数据作业的调度和执行效率,包括对Apache Iceberg、Apache Hudi等湖仓关键技术的深入应用和优化; 5.在持续优化系统性能的同时,能确保系统的高可用性和稳定性。 |
|
Job Requirements |
|
1.计算机或相关专业本科及以上学历,5年以上大数据平台开发经验;
2.精通Java/Scala编程语言。能熟练应用相关中间件做快速开发; 3.熟悉Hadoop/Spark/Starrocks/Trino/Impala/Flink 等大数据技术,具有Hive/Spark/Starocks/Doris等离线或实时数仓设计开发经验; 4.熟练掌握Spark优化技术,包括但不限于数据分区和缓存、并行度设置、数据倾斜解决、Shuffle优化、Broadcast变量、基于列的存储格式、查询优化、内存管理等; 5.具备良好的逻辑思维、表达和沟通能力,具备团队合作精神,能够独立分析和解决业务、技术问题; 6.有大型数据平台实际建设经验,在数据采集、数据开发、数据分析、数据建模等方面有深刻认识和实战经验,特别是在湖仓一体架构的应用和实践中; 7.熟悉Linux操作系统,具备网络开发经验,能够进行网络性能调优和故障排查; 8.熟悉TCP/IP协议栈,有使用Linux网络工具(如iperf, iftop, tcpdump等)进行网络性能分析的经验; 9.有金融行业大数据业务经验优先,特别是在金融数仓建设,大数据业务迁移等方面的经验优先; 10.在同等条件下,通过腾讯云认证或取得同等资格认证的,优先考虑。。加分项: |
Welcome to Linkedtour! Please complete your profile first and then enjoy your trip in Linkedtour!
Please complete now your information at our partner site and click to apply. Good luck !