消费限额
消费限额
OpenModels 使用月度消费限额帮助团队控制用量,并避免意外消耗积分。本页介绍的是按密钥设置的月度消费限额,而非每分钟请求数或每分钟 token 数配额。限额基于美元消费额,而不是原始请求数量。
有关瞬时 HTTP 429、502、503 或 504 的处理,请参阅错误。
月度消费限额
月度消费限额用于限制一个 API 密钥在当月的最大消费额。在 OpenModels 控制台中,每个密钥都会显示其当前月度消费额与已配置限额的对比。
示例:
当密钥没有月度限额时,控制台会显示 Unlimited。无限额密钥可以继续消耗可用积分,直到账户余额耗尽或密钥被撤销。
限额如何工作
月度限额按 API 密钥单独跟踪。
请求会根据所选路由的定价单位消耗积分。每个请求产生的消费额都会添加到该 API 密钥的月度消费额中。
设置月度限额
您可以在创建 API 密钥时设置月度消费限额:
- 在 OpenModels 控制台中打开 API Keys。
- 选择 Create key。
- 输入密钥名称,例如
Production、Development或CI / Testing。 - 启用 Monthly spend limit。
- 输入每月的美元金额。
- 创建密钥并妥善保存。
控制台将此设置描述为:Block requests when limit is reached。
控制台提供 $10、$20、$50、$100 和 $200 等快速预设。
达到限额后会怎样
当月度消费额达到配置的限额时,该 API 密钥的请求会被阻止。这可以防止该密钥持续使用并消耗您的积分余额。
要恢复流量,您可以:
- 提高该密钥的月度消费限额。
- 创建一个限额更高的新密钥。
- 将生产流量路由到另一个活跃密钥。
- 等待月度用量窗口重置。
撤销密钥会立即停止使用该密钥验证新的请求。
监控用量
使用 用量 监控各模型和 API 密钥的消费额与 token 数量。
用量页面显示:
- 请求数
- 输入 token
- 输出 token
- 总消费额
- 每日 token 数
- 每日请求数
- 每日消费额
- 按模型细分
- 按 API 密钥细分
使用 API 密钥细分来识别是哪一个密钥在消耗积分。使用模型细分来识别哪些模型推动了消费。
积分与限额
积分和月度限额有关联,但并不相同。
积分可在支持的模型和 API 密钥之间共用。月度限额只控制配置了该限额的特定 API 密钥的消费。
推荐配置
对于生产使用,请为每个环境创建单独的密钥:
使用单独的密钥,以便您可以独立监控、轮换、撤销和限制每个工作负载。
安全说明
- 像对待密码一样对待 API 密钥。
- 切勿将密钥提交到源代码管理系统。
- 将密钥存储在环境变量或密钥管理器中。
- 设置按密钥的月度限额来限制消费。
- 如果怀疑发生泄露,请立即轮换密钥。