📄️ 创建运行时如何通过代码添加评估样本
在创建运行时,您可以通过输入或复制/粘贴代码的方式添加评估样本。这种方式适合于批量运行单个样本的情况,以及平时比较习惯使用Playground测试对话效果的用户。
📄️ 如何通过调用API方式添加样本?
你还可以通过API的方式在样本集中添加样本,以便在评估中使用。
📄️ 如何通过上传CSV文件批量导入变量值?
首先进入查看模版中变量值列表的页面,首先点击“批量导入”按钮,然后在弹出的界面中点击下载模版对应的CSV模版,CSV模版的第一行中包含了该变量列表中的所有变量名。你只需要从第二行开始在文件中添加不同的变量取值,文件的每一行代表一组变量值。
📄️ 导入样本时的JSONL文件格式是怎样的?
EvalsOne还支持通过上传JSONL文件的方式批量添加样本,JSONL文件的格式兼容OpenAI Evals中定义的数据文件格式 https://github.com/openai/evals/blob/main/evals/registry/data/README.md, 其中的每一行代表一个样本。以下为示例:
📄️ 如何在对话模版中添加背景信息?
当进行增强检索生成(RAG)时,我们可能需要将背景信息(context)添加到对话中,让大模型参考背景信息生成回答,并通过指标对回答的质量进行评估。