🚀 在 VS Code 中！

AI 工具組中的模型

AI 工具組支援廣泛的生成式 AI 模型。小型語言模型 (SLM) 和大型語言模型 (LLM) 皆受支援。

在模型目錄中，您可以存取來自各種來源的模型

  • GitHub 託管模型 (Llama3、Phi-3、Mistral 模型)
  • 發行者託管模型 (OpenAI ChatGPT 模型、Anthropic Claude、Google Gemini)
  • 本機下載模型，例如來自 HuggingFace
  • 本機執行 Ollama 模型
  • 連線以攜帶您自己的模型

尋找模型

若要在模型目錄中尋找模型

  1. 在活動列中選取 AI 工具組檢視

  2. 選取 [目錄] > [模型] 以開啟模型目錄

    Select model in model catalog

    在模型目錄中選取模型卡片，以檢視所選模型的更多詳細資訊。

  3. 使用篩選器來縮減可用模型清單

    • 託管者：AI 工具組支援 GitHub、ONNX、OpenAI、Anthropic、Google 作為模型託管來源。

    • 發行者：AI 模型的發行者，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。

    • 工作：目前僅支援 文字產生。

    • 模型類型：篩選可在遠端或本機 CPU、GPU 或 NPU 上執行的模型。此篩選器取決於本機可用性。

    • 微調支援：顯示可用於執行微調的模型。

若要參考自我託管模型或本機執行 Ollama 模型

  1. 在模型目錄中選取 [+ 新增模型]

  2. 在模型快速選取中選擇 Ollama 或自訂模型

  3. 提供詳細資訊以新增模型

授權與登入

某些模型需要發行者或託管服務授權和帳戶才能登入。在這種情況下，在您可以在模型遊樂場中執行模型之前，系統會提示您提供此資訊。

選取模型以進行測試

AI 工具組可讓您在遊樂場中測試執行模型以進行聊天完成。您有不同的選項，可透過模型目錄中模型卡片上的動作來使用。

  • 在遊樂場中試用：載入選取的模型以在遊樂場中進行測試，而無需下載
  • 下載：從 Hugging Face 等來源下載模型
  • 在遊樂場中載入：將下載的模型載入遊樂場以進行聊天

攜帶您自己的模型

AI 工具組的遊樂場也支援遠端模型。如果您有可從網際網路存取的自我託管或已部署模型，您可以將其新增至 AI 工具組並在遊樂場中使用。

  1. 將滑鼠游標停留在樹狀檢視中的 [我的模型] 上，然後選取 + 圖示，將遠端模型新增至 AI 工具組。
  2. 填寫要求的資訊，例如模型名稱、顯示名稱、模型託管 URL 和選用的驗證字串。

Bring Your Own Models

新增 Ollama 模型

Ollama 可讓許多熱門的 genAI 模型透過 GGUF 量化在本機 CPU 上執行。如果您在本機電腦上安裝了 Ollama 並下載了 Ollama 模型，您可以將它們新增至 AI 工具組，以便在模型遊樂場中使用。

先決條件

  • AI 工具組 v0.6.2 或更新版本。
  • Ollama (已在 Ollama v0.4.1 上測試)

將本機 Ollama 新增至 AI 工具組

  1. 將滑鼠游標停留在樹狀檢視中的 [我的模型] 上，然後選取 "+" 圖示以新增模型

    或者，選取模型目錄或遊樂場中的 [+ 新增模型] 按鈕。

  2. 選取 [新增 Ollama 模型]

    Select model type to add

  3. 接下來，選取 [從 Ollama 程式庫選取模型]

    如果您在不同的端點啟動 Ollama 執行階段，請選擇 [提供自訂 Ollama 端點] 以指定 Ollama 端點。

  4. 選取您要新增至 AI 工具組的模型，然後選取 [確定]

    注意

    AI 工具組僅顯示已在 Ollama 中下載且尚未新增至 AI 工具組的模型。若要從 Ollama 下載模型，您可以執行 ollama pull <模型名稱>。若要查看 Ollama 支援的模型清單，請參閱 Ollama 程式庫 或參考 Ollama 文件。

  5. 您現在應該會在樹狀檢視的模型清單中看到選取的 Ollama 模型。

    注意

    Ollama 模型尚不支援附件。由於我們使用其 OpenAI 相容端點連線至 Ollama，且它尚不支援附件。

12/11/2024