🚀 在

AI 工具組中的模型

AI 工具組支援廣泛的生成式 AI 模型。小型語言模型 (SLM) 和大型語言模型 (LLM) 均受支援。

在模型目錄中，您可以從各種來源存取模型

  • GitHub 託管的模型 (Llama3、Phi-3、Mistral 模型)
  • 發行商託管的模型 (OpenAI ChatGPT 模型、Anthropic Claude、Google Gemini)
  • 本機下載的模型，例如來自 HuggingFace
  • 本機執行的 Ollama 模型
  • 連線到攜帶您自己的模型

尋找模型

若要在模型目錄中尋找模型

  1. 在活動列中選取 AI 工具組檢視

  2. 選取 [目錄] > [模型] 以開啟模型目錄

    Select model in model catalog

    在模型目錄中選取模型卡片，以檢視所選模型的更多詳細資訊。

  3. 使用篩選器來縮減可用的模型清單

    • 託管於：AI 工具組支援 GitHub、ONNX、OpenAI、Anthropic、Google 作為模型託管來源。

    • 發行商：AI 模型的發行商，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。

    • 工作：目前僅支援 文字產生。

    • 模型類型：篩選可在 CPU、GPU 或 NPU 上遠端或本機執行的模型。此篩選器取決於本機可用性。

    • 微調支援：顯示可用於執行微調的模型。

若要參考自我託管模型或本機執行的 Ollama 模型

  1. 在模型目錄中選取 [+ 新增模型]

  2. 在模型快速選取中，選擇 Ollama 或自訂模型

  3. 提供詳細資訊以新增模型

授權與登入

某些模型需要發行商或託管服務授權和帳戶才能登入。在這種情況下，在您可以在模型實驗場中執行模型之前，系統會提示您提供此資訊。

選擇模型進行測試

AI 工具組可讓您在實驗場中測試執行模型，以進行聊天完成。您有不同的選項，可透過模型目錄中模型卡片上的動作使用。

  • 在實驗場中試用：在實驗場中載入選取的模型以進行測試，而無需下載
  • 下載：從 Hugging Face 等來源下載模型
  • 在實驗場中載入：將下載的模型載入實驗場以進行聊天

攜帶您自己的模型

AI 工具組的實驗場也支援遠端模型。如果您有可從網際網路存取的自我託管或已部署模型，您可以將其新增至 AI 工具組，並在實驗場中使用。

  1. 將滑鼠游標停留在樹狀檢視中的 [我的模型]，然後選取 [+] 圖示，將遠端模型新增至 AI 工具組。
  2. 填寫要求的資訊，例如模型名稱、顯示名稱、模型託管 URL 和選用的驗證字串。

Bring Your Own Models

新增 Ollama 模型

Ollama 可讓許多熱門的 genAI 模型透過 GGUF 量化在本機使用 CPU 執行。如果您在本機電腦上安裝了 Ollama 並下載了 Ollama 模型，您可以將它們新增至 AI 工具組，以便在模型實驗場中使用。

必要條件

  • AI 工具組 v0.6.2 或更新版本。
  • Ollama (在 Ollama v0.4.1 上測試)

將本機 Ollama 新增至 AI 工具組

  1. 將滑鼠游標停留在樹狀檢視中的 [我的模型]，然後選取 [+] 圖示以新增模型

    或者，在模型目錄或實驗場中選取 [+ 新增模型] 按鈕。

  2. 選取 [新增 Ollama 模型]

    Select model type to add

  3. 接著，選取 [從 Ollama 程式庫選取模型]

    如果您在不同的端點啟動 Ollama 執行階段，請選擇 [提供自訂 Ollama 端點] 以指定 Ollama 端點。

  4. 選取您要新增至 AI 工具組的模型，然後選取 [確定]

    注意

    AI 工具組僅顯示已在 Ollama 中下載且尚未新增至 AI 工具組的模型。若要從 Ollama 下載模型，您可以執行 ollama pull <模型名稱>。

  5. 若要查看 Ollama 支援的模型清單，請參閱 Ollama 程式庫或參考 Ollama 文件。

    注意

    您現在應該會在樹狀檢視的模型清單中看到選取的 Ollama 模型。

12/11/2024