OpenAI推出半价API!ChatGPT批量请求API!
最新消息,对于那些需要批量处理大量数据的开发者来说,今天有个好消息:OPENAI刚刚推出了一款专为开发者设计的批量处理API,而且享受50%的折扣!
通过这个新工具,开发者可以一次性提交大量内容,并在24小时内收到处理结果。
可以根据 ChatGPT API申请教程 这篇文章提交的教程,很方便就可以开通ChatGPT API服务。
referer:https://twitter.com/OpenAIDevs/status/1779922566091522492
批量处理API的好处
对于开发者来说,可以享受50%的折扣,成本下降了。而且在处理大批量的文本、摘要、翻译或图像分类时,这种方式极为适合,因为这些任务通常不需要即时响应,开发者可以提交后静待OPENAI处理完毕再进行后续操作。
对于OpenAI来说,通过在非高峰时段处理这些批量请求,OPENAI能够更有效地平衡服务器负载并降低成本。
这种模式对双方都有利。根据OPENAI的API文档,除了半价优惠,开发者还能享受到更高的请求处理速率,即每分钟可提交更多的请求。
如何使用批量处理API
开发者需要通过JSONL文件格式提交数据,将所有请求整合到一个JSONL文件中,然后通过batch参数上传到服务器。
referer:https://twitter.com/MindMacApp/status/1780108740475441169
详细的使用方法包括创建批处理任务、请求正文格式和结果检索可以参考下面的步骤。
准备JSON格式的文件
1 | { |
提交文件
1 | curl https://api.openai.com/v1/files -H "Authorization: Bearer $OPENAI_API_KEY" -F purpose="batch" -F file="@/Users/username/Downloads/mmbatch.jsonl" |
调用批量处理API
1 | curl --request POST --url https://api.openai.com/v1/batches --header "Authorization: Bearer $OPENAI_API_KEY" --header 'Content-Type: application/json' --data '{ "input_file_id": "file-id-from-step-2", "endpoint": "/v1/chat/completions", "completion_window": "24h" }' |
获得批量处理任务状态
1 | curl https://api.openai.com/v1/batches/{batch_id_from_step_3} -H "Authorization: Bearer $OPENAI_API_KEY" |
获得处理结果
1 | curl https://api.openai.com/v1/files/{file_output_id_from_step_4}/content -H "Authorization: Bearer $OPENAI_API_KEY" > batch_output.jsonl |
更多的详细使用方法,可以参考官方OpenAI的批量处理API
referer:https://platform.openai.com/docs/api-reference/batch
批量处理API支持模型
当前批量处理的API支持的模型包括:
- gpt-3.5-turbo
- gpt-3.5-turbo-16k
- gpt-4 gpt-4-32k
- gpt-4-turbo-preview
- gpt-4-turbo
- gpt-3.5-turbo-0301
- gpt-3.5-turbo-16k-0613
- gpt-3.5-turbo-1106
- gpt-3.5-turbo-0613
- gpt-4-0314
- gpt-4-turbo-2024-04-09
- gpt-4-32k-0314
- gpt-4-32k-0613
总结
总的来说,推出这种异步任务对OpenAI和调用方都是一个双赢的结果。
OpenAI 来说可以在非高峰期时处理这些请求,这样可以平衡服务器资源节省成本。
对于开发者来说,处理实时性要求不高的任务,只需要支付 50% 的费用,成本也下降了。
对于我自己来说,目前我个人主要是在编程方面用得比较多,所以API的方式比较适合我,每天高强度使用GPT4-Turbo的API,每个月的花费也不会到20美刀。
可以根据 ChatGPT API申请教程 很快捷开通ChatGPT API服务。
当然,如果有画图和修改图片的需求,那么显然ChatGPT Plus更加合适。也可以按照ChatGPT Plus 升级教程 升级到 ChatGPT Plus。
欢迎加我微信!拉你进ChatGPT学习交流群,顺便送你一份ChatGPT手册!