大数据运维工程师(Hadoop生态/集群性能优化)
25万-38万/年(约2.1万-3.2万/月)
#26 · 天***
职位条件
城市 · 南京
工作年限 · 5年以上
职位描述
职位亮点:
国企稳定平台;十亿级超大规模物联网平台运维挑战;完善的国企福利保障体系;广阔的职业发展空间及晋升通道
岗位职责:
负责天翼物联网平台(AIoT)海量数据环境的大数据集群部署与监控体系建设,保障平台7×24小时高可用运行;2、承担大数据集群的容量规划、资源调度、性能调优及运维规范的落地执行,持续提升平台运维效率与稳定性;3、主导Hadoop生态组件(HDFS/Hive/HBase/YARN/ZooKeeper/Spark/Flink/Kafka/ES/Redis等)的部署、升级扩容与日常运维管理;4、为数据开发团队提供技术支持,包括集群环境问题排查、组件使用性能优化及架构咨询。
岗位要求:
全日制硕士及以上学历,计算机相关专业,5年以上大数据平台运维经验,其中3年以上CDH/HDP/MRS产品实际投产部署运维经验;2、精通Hadoop生态组件全栈部署、升级、监控、配置优化,并有实际生产环境的深度维护经验;3、精通HBase、Kafka、ES的性能监控、故障排查与深度优化;4、熟悉Linux操作系统及常用服务部署,掌握分布式平台运行原理;5、至少掌握Shell/Python其中一种脚本语言;6、精通Grafana等监控工具及Azkaban/Airflow调度工具者优先。
JD关键词:
大数据运维、Hadoop运维、CDH集群部署、HDFS运维、Hive数仓运维、HBase集群调优、YARN资源调度、Spark计算引擎运维、Flink实时计算运维、Kafka消息队列运维、ES搜索引擎运维、Redis缓存运维、Linux系统运维自动化、Shell脚本编写、Grafana监控配置