2023年7月11日 星期二

試用本地小模型ChatRWKV、WSL2、4GB顯卡NVIDIA Quadro P1000

1.在Windows安裝/更新NVIDIA Windows版顯卡驅動(重要!WSL2內安裝Linux版顯卡驅動)

2.在WSL2安裝Linux x86 CUDA Toolkit using WSL-Ubuntu Package(連結)

3.複製ChatRWKV程式碼,執行git clone https://github.com/BlinkDL/ChatRWKV.git

4.變更現在路徑到ChatRWKV,執行pip install -r requirements.txt(預安裝Python必要套件)

5.下載本地小模型RWKV-4-Pile-1B5-EngChn-test4-20230115.pth到ChatRWKV

6.修改chat.py,

第40行改為 CHAT_LANG = 'Chinese'

第48及58行改為args.MODEL_NAME = '<實際路徑>/ChatRWKV/RWKV-4-Pile-1B5-EngChn-test4-20230115'(不須.pth副檔名)

7.執行python chat.py

8.效果如下:







......😅 😂 🤣