Code Generation LM Evaluation Harness

为一个代码基准生成待评估答案文件

准备输入

• 用于代码生成的模型、基准任务名称和计划抽取的题目数量。
• 已安装项目依赖并配置计算环境的评估工具。

操作步骤

1. 安装符合设备要求的 PyTorch 和项目依赖，选定模型、任务以及生成长度和采样参数。
2. 通过 accelerate launch 运行 main.py，使用 generation_only 和 save_generations 保存生成答案，先检查生成文件及其任务对应关系。
3. 需要执行评估时，将该答案文件交给单独准备的评估环境，保持题目范围和样本数量一致，再读取该任务的评估结果。

执行生成代码需要单独启用 allow_code_execution，默认关闭；生成阶段与执行阶段可分离。启用执行前应检查提示并使用适合任务的隔离环境，模型自定义代码也需单独确认。