上传文件到 OpenAI：传递接力棒

wufei123 2025-01-26 阅读:51 评论:0

本文将指导您如何利用 OpenAI 文件 API 上传预处理好的 JSONL 文件，为后续模型微调做好准备，这就好比将整理好的邮件交给邮递员进行投递。准备工作: 确保已安装 OpenAI Python 包：pip install op...

上传文件到 openai：传递接力棒

本文将指导您如何利用 OpenAI 文件 API 上传预处理好的 JSONL 文件，为后续模型微调做好准备，这就好比将整理好的邮件交给邮递员进行投递。

准备工作:

确保已安装 OpenAI Python 包：pip install openai
获取您的 OpenAI API 密钥。

上传文件步骤 (Python 代码):

以下 Python 脚本演示了如何上传 JSONL 文件：

PHP

import openai

# 设置您的 OpenAI API 密钥
openai.api_key = "YOUR_API_KEY"  # 请替换为您的实际 API 密钥

# 训练集和测试集文件路径
file_paths = {
    "train": "train.jsonl",
    "test": "test.jsonl"
}

# 上传文件函数
def upload_file(file_path, purpose="fine-tune"):
    try:
        response = openai.File.create(
            file=open(file_path, "rb"),
            purpose=purpose
        )
        print(f"文件 {file_path} 上传成功！")
        print(f"文件 ID: {response['id']}")
        return response["id"]
    except Exception as e:
        print(f"文件 {file_path} 上传失败: {e}")
        return None

# 上传训练集和测试集文件
file_ids = {split: upload_file(file_paths[split]) for split in file_paths}

print("上传的文件 ID:", file_ids)

代码说明:

API 密钥设置: 将 "YOUR_API_KEY" 替换成您的实际 OpenAI API 密钥。
文件路径: file_paths 字典指定了训练集 (train.jsonl) 和测试集 (test.jsonl) 文件的路径。请确保这些文件已正确准备。
上传文件函数: upload_file 函数使用 openai.File.create() 上传文件，purpose="fine-tune" 指定用途为模型微调。该函数包含错误处理机制。
文件 ID: 上传成功后，OpenAI 会返回一个唯一的 file_id，后续微调步骤需要用到这些 ID。

预期输出:

如果上传成功，输出类似：

PHP

文件 train.jsonl 上传成功！
文件 ID: file-abcdef1234567890
文件 test.jsonl 上传成功！
文件 ID: file-uvwxyz9876543210
上传的文件 ID: {'train': 'file-abcdef1234567890', 'test': 'file-uvwxyz9876543210'}