除了在 Intel CPU 上具有顯著的加速功能外，IPEX-LLM 還支援在 Intel GPU 上運行 LLM（大型語言模型）的優化和加速。

IPEX-LLM 支援在低位技術、現代硬體加速和最新軟體優化的説明下，在 Intel GPU 上優化任何 HuggingFace transformers 模型。

在 Intel Arc GPU 上執行的 6B 型號（即時螢幕截圖）：

在 Intel Arc GPU 上運行的 13B 型號（即時螢幕截圖）：

在第 6 章中，您將學習如何在 Intel GPU 上使用 IPEX-LLM 優化來運行 LLM 以及實現流聊天功能。以流行的開源模型為例：

• 美洲駝2-7B
• 百川2-7B

6.0 系統支援

1. Linux的：

硬體：

• 英特爾銳炫 ™ A 系列顯卡
• 英特爾數據中心 GPU Flex 系列
• Intel Data Center GPU Max 系列

作業系統：

• Ubuntu 20.04 或更高版本（首選 Ubuntu 22.04）

2. 窗戶

硬體：