聽說有一些在個人電腦只用 CPU 就能執行 LLaMA 模型的方法,找了一些資料,終於嘗試出來了,把過程記錄在此。其實還有許多參數搞不懂,但至少先求有,再求好了。
最主要的參考是來自這篇文章
text-generation-webui 快速使用各種語言模型的工具
底下是記錄過程,其實我已經在 D 碟試過了,這次要重新在 C 碟試試,看固態硬碟跑起來會不會順一點。
安裝程式
首先,到 oobabooga 的 Github 找到 text-generation-webui Windows 的安裝程式。
下載 oobabooga-windows.zip