腾讯云智能体开发平台提供丰富的底层模型调用选择,可以在模型广场中进行设置和管理。

模型介绍

预置模型

腾讯云智能体开发平台为用户预置了高性能的腾讯混元大模型、腾讯优图精调大模型和 DeepSeek 模型。这些模型可以直接在平台中使用,无需额外配置。

第三方模型

模型广场支持用户通过配置 API Key 的方式,灵活接入多种主流第三方大模型服务,扩展智能体能力边界。目前支持接入的模型供应商包括但不限于百川智能、月之暗面、通义千问等。

腾讯云 TI-ONE 平台授权模型

对于已在腾讯云 TI-ONE 平台拥有模型资源的用户,模型广场提供了便捷的授权接入方式。用户只需在 TI-ONE 平台上完成相应授权,即可将 TI-ONE 平台上的模型同步至模型广场,并在智能体开发中使用。

  • 添加腾讯云 TI-ONE 模型

    单击添加跳转至腾讯云控制台角色管理页面,需要同意赋予腾讯云智能体开发平台权限。同意后将会把 TI-ONE 平台上运行中的模型在线服务同步至腾讯云智能体开发平台,若在 TI-ONE 平台上未部署模型在线服务,可以参考下文进行部署。

    在模型广场腾讯云 TI-ONE 单击添加。

    跳转至腾讯云 TI-ONE 平台进行授权。

  • 在 TI-ONE 平台上部署模型在线服务

    进入 TI-ONE 平台在线服务管理与部署,单击新增版本

    配置完相关信息后单击启动服务

    当模型在线服务状态为“运行中”时,即可在腾讯云智能体开发平台模型广场中查看到该模型在线服务。

    在右侧菜单栏单击模型广场进入,点击供应商卡片查看可使用的模型。

  • 解除 TI-ONE 平台授权

    进入腾讯云 TI-ONE 平台角色授权管理,点击删除角色载体为“产品服务 - tione.adp(服务相关角色)”的角色,即可解除授权。

用户自定义模型

用户自定义添加 OpenAI 协议兼容 LLM 模型

除了预置模型和第三方模型,模型广场还提供了用户自定义模型的接入入口。用户可以通过 OpenAI 兼容性接口,将自行训练或部署的模型接入平台,实现高度定制化的智能体开发。

单击 OpenAI Compatible 卡片,进行添加

选择 LLM,填入对应的参数,即可完成模型添加。

用户自定义添加向量模型

模型广场支持用户通过 OpenAI Compatible 卡片添加自定义向量模型请注意,当前仅支持1024维数文本向量模型

用户自定义添加重排序模型

模型广场支持用户自定义添加重排序模型。Tencent Cloud ADP 提供了重排序模型接口的标准协议,用户自定义添加的重排序模型需遵循 ADP 定义的协议要求。

Rerank(重排序)接口用于对文档列表进行相关性排序,根据查询语句对多个文档进行打分和排序,返回最相关的文档。

基本信息
项目 内容
接口路径 $BASE_URL/rerank
请求方法 POST
Content-Type application/json
Authorization Bearer $API_KEY
请求参数
参数名 类型 必填 说明
model string 使用的模型名称
query string 查询语句,用于与文档进行相关性匹配
documents array[string] 待排序的文档列表
top_n integer 返回前N个最相关的文档,不指定则返回所有文档
请求示例
curl -X POST https://your-domain/v1/rerank \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer your-api-key" \
  -d '{
    "model": "rerank-model-v1",
    "query": "人工智能的应用场景",
    "documents": [
      "人工智能在医疗领域的应用越来越广泛",
      "机器学习是人工智能的一个重要分支",
      "今天天气很好,适合出门游玩",
      "深度学习技术推动了计算机视觉的发展",
      "人工智能可以帮助企业提高生产效率"
    ],
    "top_n": 3
  }'
响应参数
参数名 类型 说明
id string 请求id
model string 使用的模型名称
usage object Token使用情况统计
usage.prompt_tokens integer 输入Token数量
usage.total_tokens integer 总Token数量
results array[object] 排序结果列表,按相关性得分降序排列
results[].index integer 文档在原始列表中的索引位置(从0开始)
results[].relevance_score float 相关性得分,范围通常为0-1,分数越高表示越相关
响应示例
{
  "id": "50660fc3-2c85-4000-842f-a62a311c8ca3",
  "model": "rerank-model-v1",
  "usage": {
    "prompt_tokens": 150,
    "total_tokens": 150
  },
  "results": [
    {
      "index": 2,
      "relevance_score": 0.95
    },
    {
      "index": 0,
      "relevance_score": 0.89
    },
    {
      "index": 1,
      "relevance_score": 0.85
    }
  ]
}

操作指南

对于需要接入第三方模型的用户,操作步骤如下:

  1. 进入模型广场,在待添加区域选择想要使用的模型,单击添加 :不同模型的能力表现,参数类型会不一样,您可以根据自身业务场景的需求选择合适的模型供应商,然后在模型广场页面,找到您希望接入的第三方模型供应商卡片,单击下方的添加

  2. 获取 API Key:根据弹出的提示,访问该第三方模型供应商的官方网站,注册并获取您的 API Key 。不同模型的 API Key 获取方式可能有所不同,请参照其官方文档指引。

  3. 配置 API Key:将获取到的 API Key 粘贴到设置界面对应的输入框中,单击确定完成配置。配置成功后,该第三方模型供应商即可在您的模型广场中显示为“可使用”状态。

  4. 管理模型

    对于已配置或预置的模型,单击模型卡片上的下拉列表或相关按钮,您可以选择“启用”或“禁用”该模型。启用后的模型将会在您进行应用开发时,在模型列表中显示并可供选择使用;禁用后则不会显示。

在应用开发中使用模型

当您在模型广场中启用所需模型后,即可在智能体应用开发过程中选择并使用它们,在模型设置或选择环节,您将会在模型列表中看到所有已在模型广场中启用的模型。选择您希望使用的模型,并进行后续的应用开发功能配置。

注意:

第三方模型目前只在标准模式应用设置模型选择和工作流的大模型节点支持选择, Multi-Agent 模式下暂时不支持。

标准模式应用设置中的思考模型和生成模型。支持选择模型广场已配置的三方模型服务。

标准模型下

工作流中大模型相关节点,也可支持选择模型广场已配置的三方模型服务。

工作流中

Multi-Agent 模式中的 Agent 模型,也可支持选择模型广场已配置的三方模型服务。

通过以上步骤,您可以灵活地管理和使用模型广场中的各类模型。若需要使用模型对比调试功能可以前往 对话调试 查看使用指南。

第三方模型支持分工作空间查看及使用

同一个主账号下,平台预置模型、及腾讯云TI-ONE授权模型,跨工作空间可查看、可使用;第三方模型支持分 工作空间 可查看、可使用。