创建运行时如何通过代码添加评估样本
在创建运行时,您可以通过输入或复制/粘贴代码的方式添加评估样本。这种方式适合于批量运行单个样本的情况,以及平时比较习惯使用Playground测试对话效果的用户。
手动输入代码
代码的格式是与OpenAI对话消息兼容的JSON代码,其中包含了对话的消息角色和内容,例如:
{
"role": "system",
"content": "你是一个热心的AI助理"
},
{
"role": "user",
"content": "世界上最高的山峰是什么?"
},
{
"role": "assistant",
"content": "珠穆朗玛峰"
}
从Playground中复制/粘贴代码
如果你平时习惯使用各个厂商提供的Playground测试对话效果,你可以直接从Playground中复制代码,然后在创建运行时粘贴到编辑器中。
以OpenAI的Playground为例,你可以进入OpenAI的Playground并进入Chat模式,点击右上方的View Code,在弹出的界面中复制Python模式的代码即可。
将复制好的代码粘贴到EvalsOne的输入框中,然后点击「确定」按钮,系统将会自动解析源代码并完成样本添加。下一步,你可以设定生成的轮次,这样可以测试同一个对话样本反复生成的稳定性。
注意事项
无论是输入还是复制/粘贴代码,对话中的最后一条消息的角色如果是assistant,该消息将作为理想答案(ideal)进行保存。