跳到主要内容
CodeAtlas
Python · 数据与网络阶段 35 项必做

招聘网站岗位数据采集 + 薪资分布分析报告

能从网上拿到数据并分析出结论

难度
建议投入 24–42 小时· 5 条需求
验收权重
产出 1 份带图表的分析报告;能说明反爬与合规边界40%
核心功能可独立跑通,无阻断性 bug25%
关键路径有测试或可复现的验收脚本15%
README 写清运行方式、架构与踩坑10%
能在 5 分钟内讲清设计与取舍10%

总分 100。低于 60 分说明这个阶段还没过,回去补知识点,不丢人。

项目背景

这是「Python」路径第 3 阶段(阶段三 · 数据与网络)的验收项目。本阶段目标是:能从网上拿到数据并分析出结论。项目不是练习题的堆砌,而是把这一阶段的知识点压缩成一个能演示、能讲清楚取舍的成品。

MVP 目标
  • 能从网上拿到数据并分析出结论
  • 做出可运行、可演示的「招聘网站岗位数据采集 + 薪资分布分析报告」
  • 把 requests / httpx、BeautifulSoup / Playwright、pandas 数据清洗 真正用进项目,而不是停在笔记里

功能需求清单

5 项必做 · 0 项建议
  1. 1
    数据采集必做

    采集 ≥ 300 条岗位,遵守 robots 与限速。

  2. 2
    数据清洗必做

    去重、缺失值处理、薪资区间解析与异常值剔除。

  3. 3
    分析图表必做

    至少 3 张图:薪资分布、城市对比、技能词频。

  4. 4
    结论报告必做

    报告要有可执行结论,不只堆图表。

  5. 5
    合规说明必做

    写清数据来源、采集边界与不存储敏感信息。

技术约束

requests / httpxBeautifulSoup / Playwrightpandas 数据清洗matplotlib 可视化SQL 基础

交付物

  • Git 仓库(含分阶段提交记录,不是最后一次性上传)
  • README:项目简介、架构/流程图、运行方式、已知限制
  • 演示材料:截图,或 1–2 分钟录屏
  • 复盘:做错的 3 个决定与改进方案

加分项

  • 技能共现网络
  • 词云
  • 定时更新与增量入库

最容易翻车的地方

  • 无节制请求被封
  • 不去重导致结论失真
  • 图表没有结论

做完之后,简历怎么写

「招聘网站岗位数据采集 + 薪资分布分析报告」:独立完成 招聘网站岗位数据采集 + 薪资分布分析报告,使用 requests / httpx、BeautifulSoup / Playwright、pandas 数据清洗;通过「产出 1 份带图表的分析报告」验收。

写「做了什么 + 用了什么 + 结果如何」,不要写「参与了 XX 系统」。