调用自己网关中的模型

选择模型、起草回复或生成文本向量,同时查询当前密钥可用的模型与额度。

可以交给 Leina 的 LiteLLM 任务

复制示例,补充具体信息,然后在已接入的团队聊天中发给 Leina。

让可用模型整理笔记或起草回复。

查询可用模型,然后用 [模型] 总结以下笔记并起草客户回复:[笔记]。

为文本比较或后续检索流程生成向量。

使用 [向量模型] 为这些段落生成向量:[文本]。

比较模型能力与价格,再查看密钥剩余预算。

列出聊天模型的上下文限制和价格,再报告当前密钥的消费与剩余预算。

开始使用 LiteLLM

  1. 连接账号

    使用 LiteLLM 密钥连接公开可访问的网关。

  2. 尝试一个任务

    在团队聊天中告诉 Leina 你的需求,说明数据来源、保存位置和预期结果。

    将 Leina 接入团队聊天 →
  3. 核对结果

    查看任务结果,并核对应用中的变更。

支持的 LiteLLM 能力

连接 LiteLLM 网关,调用聊天和消息模型、生成向量、比较模型能力与价格,并查看密钥消费。

生成内容与向量

调用聊天、消息和向量模型。

查询模型与预算

读取模型名称、能力、价格及虚拟密钥消费。

查看全部 6 项操作
  • Create Chat Completion
  • Create Message
  • Create Embedding
  • List Models
  • Get Model Info
  • Get Key Info

访问服务商网站 ↗

常见问题

可以使用主密钥吗?

可用于推理与模型查询。查看密钥的预算记录需要虚拟密钥。

让 Leina 成为你的 LiteLLM AI 员工

在团队聊天中告诉 Leina 你的需求,说明数据来源、保存位置和预期结果。