作為高級參數高效微調 （PEFT） 技術之一，QLoRA 能夠以最小的開銷將專業知識羽量級注入大型語言模型。IPEX-LLM 還支援在 Intel GPU 上使用具有 4 位優化的 QLora 對 LLM（大型語言模型）進行微調。
注意
目前，IPEX-LLM 支援 LoRA、QLoRA、ReLoRA、QA-LoRA 和 DPO 微調。
在第 7 章中，您將介紹如何使用 IPEX-LLM 優化將大型語言模型微調為文本生成任務。IPEX-LLM 具有全面的工具集，可説明您微調模型、將LoRA權重和推理與微調模型合併。
我們將使用一個流行的開源模型 Llama-2-7b-hf 作為示例進行訓練。有關其他微調方法，請參閱 LLM-Finetuning 頁面以獲取詳細說明。
7.0 環境設置
有關模式的詳細資訊，請參閱 GPU 安裝指南。強烈建議您按照以下相應的步驟正確配置您的環境。