最新消息,对于那些需要批量处理大量数据的开发者来说,今天有个好消息:OPENAI刚刚推出了一款专为开发者设计的批量处理API,而且享受50%的折扣

通过这个新工具,开发者可以一次性提交大量内容,并在24小时内收到处理结果

可以根据 ChatGPT API申请教程 这篇文章提交的教程,很方便就可以开通ChatGPT API服务。

referer:https://twitter.com/OpenAIDevs/status/1779922566091522492

批量处理API的好处

对于开发者来说,可以享受50%的折扣,成本下降了。而且在处理大批量的文本、摘要、翻译或图像分类时,这种方式极为适合,因为这些任务通常不需要即时响应,开发者可以提交后静待OPENAI处理完毕再进行后续操作。

对于OpenAI来说,通过在非高峰时段处理这些批量请求,OPENAI能够更有效地平衡服务器负载并降低成本。

这种模式对双方都有利。根据OPENAI的API文档,除了半价优惠,开发者还能享受到更高的请求处理速率,即每分钟可提交更多的请求。

如何使用批量处理API

开发者需要通过JSONL文件格式提交数据,将所有请求整合到一个JSONL文件中,然后通过batch参数上传到服务器。

referer:https://twitter.com/MindMacApp/status/1780108740475441169

详细的使用方法包括创建批处理任务、请求正文格式和结果检索可以参考下面的步骤。

准备JSON格式的文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
{
"custom_id": "mmrequest-1",
"method": "POST",
"url": "/v1/chat/completions",
"body": {
"model": "gpt-3.5-turbo",
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "What is 2+2?"
}
]
}
}

提交文件

1
curl https://api.openai.com/v1/files -H "Authorization: Bearer $OPENAI_API_KEY" -F purpose="batch" -F file="@/Users/username/Downloads/mmbatch.jsonl"

调用批量处理API

1
curl --request POST --url https://api.openai.com/v1/batches --header "Authorization: Bearer $OPENAI_API_KEY" --header 'Content-Type: application/json' --data '{ "input_file_id": "file-id-from-step-2", "endpoint": "/v1/chat/completions", "completion_window": "24h" }'

获得批量处理任务状态

1
curl https://api.openai.com/v1/batches/{batch_id_from_step_3} -H "Authorization: Bearer $OPENAI_API_KEY"

获得处理结果

1
curl https://api.openai.com/v1/files/{file_output_id_from_step_4}/content -H "Authorization: Bearer $OPENAI_API_KEY" > batch_output.jsonl

更多的详细使用方法,可以参考官方OpenAI的批量处理API

referer:https://platform.openai.com/docs/api-reference/batch

批量处理API支持模型

当前批量处理的API支持的模型包括:

  • gpt-3.5-turbo
  • gpt-3.5-turbo-16k
  • gpt-4 gpt-4-32k
  • gpt-4-turbo-preview
  • gpt-4-turbo
  • gpt-3.5-turbo-0301
  • gpt-3.5-turbo-16k-0613
  • gpt-3.5-turbo-1106
  • gpt-3.5-turbo-0613
  • gpt-4-0314
  • gpt-4-turbo-2024-04-09
  • gpt-4-32k-0314
  • gpt-4-32k-0613

总结

总的来说,推出这种异步任务对OpenAI和调用方都是一个双赢的结果。

OpenAI 来说可以在非高峰期时处理这些请求,这样可以平衡服务器资源节省成本。

对于开发者来说,处理实时性要求不高的任务,只需要支付 50% 的费用,成本也下降了。

对于我自己来说,目前我个人主要是在编程方面用得比较多,所以API的方式比较适合我,每天高强度使用GPT4-Turbo的API,每个月的花费也不会到20美刀。

可以根据 ChatGPT API申请教程 很快捷开通ChatGPT API服务。

当然,如果有画图和修改图片的需求,那么显然ChatGPT Plus更加合适。也可以按照ChatGPT Plus 升级教程 升级到 ChatGPT Plus。