IPEX-LLM 是一個為Intel XPU (包括CPU和GPU) 打造的輕量級大語言模型加速庫。本代碼倉庫包含了若干關於IPEX-LLM的教程,能説明你理解什麼是IPEX-LLM,以及如何使用IPEX-LLM 來開發基於大語言模型的應用。
教程組織如下:
概覽
介紹了什麼是IPEX-LLM以及您可以用它做什麼。環境準備
提供了一組最佳實踐,用於設置您的環境。應用開發基礎
介紹了IPEX-LLM的基本用法,以及如何構建一個最簡單的聊天應用。中文支援
展示了一些支援中文輸入/輸出的大語言模型的用法,例如ChatGLM2、Baichuan。中級應用開發
介紹了使用IPEX-LLM進行應用開發的中級知識,例如如何構建更複雜的聊天機器人、如何做語音辨識等。GPU加速
介紹了如何用IPEX-LLM在Intel GPU上加速LLM應用。微調
介紹了如何使用IPEX-LLM進行微調。高級應用開發
介紹了使用IPEX-LLM進行應用開發的高級知識,例如langchain的使用。