顯示具有 LLM 標籤的文章。 顯示所有文章
顯示具有 LLM 標籤的文章。 顯示所有文章

2023年7月19日 星期三

試用大模型ChatGLM2-6B、Google Colab

1.在Google Colab執行

from google.colab import drive
drive.mount('/content/drive')


2.詢問"要允許這個筆記本存取你的 Google 雲端硬碟檔案嗎?",點選[連線至 Google 雲端硬碟]按鈕→選擇連線帳戶→點選[Allow]按鈕



3.在Google Drive新增GitHub資料夾以存放ChatGLM2-6B專案

%mkdir /content/drive/MyDrive/GitHub
%cd /content/drive/MyDrive/GitHub

※每行Linux指令開頭需加上%符號


4.依專案說明執行

複製ChatGLM2-6B專案、安裝專案依賴、代碼調用

※每行Linux指令開頭需加上%符號


5.效果如下:



2023年7月11日 星期二

試用本地小模型ChatRWKV、WSL2、4GB顯卡NVIDIA Quadro P1000

1.在Windows安裝/更新NVIDIA Windows版顯卡驅動(重要!WSL2內安裝Linux版顯卡驅動)

2.在WSL2安裝Linux x86 CUDA Toolkit using WSL-Ubuntu Package(連結)

3.複製ChatRWKV程式碼,執行git clone https://github.com/BlinkDL/ChatRWKV.git

4.變更現在路徑到ChatRWKV,執行pip install -r requirements.txt(預安裝Python必要套件)

5.下載本地小模型RWKV-4-Pile-1B5-EngChn-test4-20230115.pth到ChatRWKV

6.修改chat.py,

第40行改為 CHAT_LANG = 'Chinese'

第48及58行改為args.MODEL_NAME = '<實際路徑>/ChatRWKV/RWKV-4-Pile-1B5-EngChn-test4-20230115'(不須.pth副檔名)

7.執行python chat.py

8.效果如下:







......😅 😂 🤣