< 中文 |中文 >

OLLAMA/OLLAMA 是一種流行的框架，旨在在本地計算機上構建和運行語言模型;您現在可以使用IPEX-LLM的 C++ 介面作為在Intel GPU 上運行的加速後端*（例如，帶有iGPU的本地PC、Arc、Flex和 Max等獨立 GPU）。*ollama

注意

有關在 Intel Arc B 系列 GPU（如 B580）上的安裝，請參閱本指南。

注意

我們目前的版本與 ollama 的 v0.5.1 一致。

ipex-llm[cpp]==2.2.0b20250105與 OLLAMA 的 v0.4.6 一致。

請參閱下面的在 Intel Arc GPU 上運行 LLaMA2-7B 的演示。

您也可以

按下此處

觀看演示視頻。

注意

從開始，Windows 上的 oneAPI 依賴項目將從 切換到 。ipex-llm[cpp]==2.2.0b20240912ipex-llm[cpp]2024.0.02024.2.1

對於此更新，必須創建新的 conda 環境才能在 Windows 上安裝最新版本。如果直接升級到以前的 cpp conda 環境，則可能會遇到錯誤 。ipex-llm[cpp]>=2.2.0b20240912Can't find sycl7.dll

目錄

• 為 Ollama 安裝 IPEX-LLM