采样参数按各协议的原生字段名透传给上游模型。下表是常用参数在三种协议中的对应字段,— 表示该协议没有这个参数。网关不校验取值范围,超出范围时以上游模型的处理为准。
| 参数 | 说明 | Anthropic | OpenAI | Gemini |
|---|---|---|---|---|
| Temperature | 控制输出的随机性,值越低越稳定。 | temperature | temperature | generationConfig.temperature |
| Top P | 核采样:只从累计概率达到该值的候选词里采样。 | top_p | top_p | generationConfig.topP |
| Top K | 只从概率最高的 K 个候选词里采样。 | top_k | top_k(透传,标准 OpenAI API 没有此参数,是否生效取决于模型) | generationConfig.topK |
| Frequency Penalty | 按词在已生成文本中出现的次数降低其再次出现的概率。 | — | frequency_penalty | — |
| Presence Penalty | 只要词已出现过就降低其再次出现的概率。 | — | presence_penalty | — |
| Seed | 固定随机种子,让相同请求尽量得到相同输出。 | — | seed | generationConfig.seed |
| Max Tokens | 最大输出 token 数。 | max_tokens(必填) | max_tokens | generationConfig.maxOutputTokens |