互联网大模型评测工程师1-3年
互联网大模型评测工程师简历案例与写作指南
3 年模型评测经验，搭建大模型评测基准与自动化流水线，以评测数据驱动多轮模型迭代决策。下面展示完整简历，并拆解适合复用的内容结构。
案例内容已做脱敏或示例化处理，仅供结构与表达参考。
这份案例怎么写
案例以"基准—流水线—评审"三件套组织：题库建设证明专业深度，自动化流水线证明工程效率，人工评审证明质量控制，合成评测岗的完整能力画像。
评测是新兴方向，案例用一致率、评测耗时、迭代周期等指标证明方法论成熟度，突出评测是模型发布决策依据的定位，而非辅助性工作。
工作经历写法
大模型评测工程师
2025.03 - 至今某AI创业公司
- 负责大模型评测基准建设，设计 8 大能力维度、2 万题分层题库，覆盖中英双语场景
- 搭建自动化评测流水线，单模型全量评测从 3 天压缩至 6 小时，支持版本灰度对比
- 组织月度人工评审，标注一致性 Kappa 值稳定在 0.8 以上，结论直接支撑模型发布决策
算法测试工程师
2023.07 - 2025.02某互联网公司
- 负责搜索排序模型离线评估，建设相关性标注规范与抽样体系，月评估 query 5 万条
- 推动 A/B 实验指标治理，梳理北极星与护栏指标 20 余项，实验结论误判率下降 40%
项目经历怎么取舍
选取评测基准建设、自动化流水线、搜索质量评估三个项目：分别证明评测设计能力、工程自动化能力与统计分析基本功，覆盖评测岗从入门到专家的能力链路，指标均有评测平台数据可查。
模型评测基准与题库建设
2025.04 - 2026.01评测负责人
- 按推理、代码、长文本等 8 个维度构建分层题库，引入难度标定与数据去污染机制
- 设计大模型辅助判分方案并与人工评审对齐，判分一致率达 0.87
- 基准上线后支持 12 个模型版本对比，帮助定位 3 个关键能力短板并推动专项优化
自动化评测流水线
2026.02 - 至今技术负责人
- 开发集模型登记、批量推理、自动判分、报告生成于一体的一体化流水线，结果自动归档可追溯
- 支持按模型版本自动调度回归评测，新版本报告 2 小时内推送相关团队
- 流水线将评测人力投入减少 60%，模型迭代决策周期从周级缩短至天级
搜索质量评估体系建设
2023.09 - 2025.01核心成员
- 设计分级相关性标注标准与仲裁流程，标注一致率从 0.68 提升至 0.82
- 建设线上线下指标映射分析，离线指标与在线 CTR 变化的相关性提升至 0.85
常见问题
这份大模型评测工程师简历适合什么经验阶段？
案例按1-3年经验设计，适合作为同阶段求职者的结构和表达参考。
可以直接复制这份简历吗？
可以先复制到编辑器，但必须把公司、项目、数据和技能替换成自己的真实经历。
怎样让案例更匹配目标岗位？
对照目标岗位描述，优先保留与大模型评测工程师直接相关的经历、成果和关键词。