跳到主要内容
CodeAtlas
返回上一页
数据需求 4/5难度 3/5

大数据开发工程师

会写 SQL 比会几个框架更值钱

基于 Hadoop / Spark / Flink 构建离线与实时数据管道,支撑数仓、推荐、风控与报表。岗位稳定,是数据方向最主流的工程岗。

编辑手记

别一上来就学 Flink。先确认你能把一条慢查询从 40 秒压到 2 秒——这比会几个框架更能决定你的薪资。

SQL(窗口函数、执行计划)Spark(内核与调优)Flink 实时计算Hive / 数仓分层建模Kafka
一线城市年度总包
18–30
应届 · 万
30–50
3 年 · 万
45–75
5 年 · 万
薪资区间对比上限 120 万
城市薪资系数(北京 = 100)
北京 100杭州 93上海 95深圳 94成都 80

你每天到底在干什么

  • 开发离线/实时数据管道,保障数据及时性与准确性
  • 用 Spark / Flink 做 ETL 与指标计算
  • 治理数据质量:血缘、监控、告警、口径统一
  • 支撑业务方的取数与实验分析需求
典型的一天
  • 上午:处理数据延迟告警与任务失败
  • 下午:写 SQL / 开发任务 + 对数
  • 大促与月初报表期较忙

技能清单

必须掌握
SQL(窗口函数、执行计划)Spark(内核与调优)Flink 实时计算Hive / 数仓分层建模KafkaJava / Scala / Python 其一
加分项
湖仓一体(Iceberg / Paimon)数据治理方法论OLAP 引擎(ClickHouse / Doris)调度系统

面试会考什么

1Spark 宽窄依赖、Shuffle 与内存模型
2Flink 时间语义、Watermark、状态与 Checkpoint
3数仓分层(ODS/DWD/DWS/ADS)与维度建模
4SQL 手写:留存、漏斗、TopN、连续登录
2026 趋势判断

实时化与湖仓一体是主线;2026 年「AI + 数据」带来新岗位——为模型准备高质量语料与特征管道,懂数据又懂 AI 的人溢价明显。

同方向岗位的应届薪资

逐项对比 →

同样口径(一线城市年度总包),区间位置越靠右越高。

值得去的地方

  • 岗位稳定,传统行业也有需求
  • SQL 能力可迁移到分析岗
  • 数据资产价值长期存在

必须接受的代价

  • 夜间值班与告警疲劳
  • 业务方需求杂,容易沦为取数工具
  • 技术更新快(湖仓/实时)
Next

可能也适合你的相邻岗位