將 HuggingFace 模型轉換為 GGUF
1.安裝python 3.11.9，不要用python 3.12版
2.安裝git
3.重新開機
4.git clone https://github.com/ggerganov/llama.cpp.git
5.cd llama.cpp
pip install -r requirements.txt
6.測試llama.cpp
python convert.py -h
出現:ImportError: DLL load failed while importing _sentencepiece: 找不到指定的模組。
安裝Microsoft visual c++ 2015 redistributable(x64)
https://www.microsoft.com/en-us/download/confirmation.aspx?id=48145
安裝後在執行一次python convert.py -h
7.將下載 HuggingFace 模型目錄複製到llama.cpp目錄下
python convert.py c:\llama.cpp\INX-TEXT_Bailong-instruct-7B --outfile bailong-instruct-7b-f16.gguf --outtype f16
轉出來大小約13.5G，還是太大
8.Windows使用llama.cpp量化(quantize)前準備
llama.cpp量化(quantize) 前要先做make。
9.下載w64devkit-1.xxx並執行w64devkit.exe。
https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#build
https://github.com/skeeto/w64devkit/releases/tag/v1.23.0
下載w64devkit-1.23.0.zip並解壓
10.進入w64devkit目錄並執行w64devkit.exe
11.然後進入llama.cpp目錄 cd /llama.cpp
12.執行make
會跑一下下，完成後執行exit跳回windos的命令提示字元CMD下
quantize.exe就會生成在llama.cpp的資料夾下
# 以q4_k_m 為例
# q4_k_m：提供了不同程度的準確性和推理速度，適合需要平衡資源使用的場景。
13.cd llama.cpp
14.執行.\quantize.exe bailong-instruct-7b-f16.gguf bailong-instruct-7b-q4_k_m.gguf q4_k_m
當中數字是代表量化的 bits 設定；以下是參考他對於不同量化的推薦和說明：
q2_k：特定張量 (Tensor) 采用較高的精度設置，而其他的則保持基礎級別。
q3_k_l、q3_k_m、q3_k_s：這些變體在不同張量上使用不同級別的精度，從而達到性能和效率的平衡。
q4_0：這是最初的量化方案，使用 4 位精度。
q4_1和q4_k_m、q4_k_s：這些提供了不同程度的準確性和推理速度，適合需要平衡資源使用的場景。
q5_0、q5_1、q5_k_m、q5_k_s：這些版本在保證更高準確度的同時，會使用更多的資源並且推理速度較慢。
q6_k和q8_0：這些提供了最高的精度，但是因為高資源消耗和慢速度，可能不適合所有用戶。
如果追求較低成本和保持模型效能的情況推薦使用用 Q5_K_M，如果想更節省 RAM，則可以考慮 Q4_K_M。一般來說，帶有 K_M 的版本會比 K_S 的版本表現更佳。不過不建議使用 Q2_K 或 Q3_* 等版本，因為它們會顯著降低模型的整體性能。
----------------------------------------------------------------------------------------------
如何下載HuggingFace的模組
1.進入HuggingFace想要處理的模組例如INX-TEXT/Bailong-instruct-7B
那就去HuggingFace網頁搜尋INX-TEXT/Bailong-instruct-7B
2.進入後點選Files，在右邊有3個.，點選後出現clone repository，會出現如何下載
3.git lfs install
4.git clone https://huggingface.co/INX-TEXT/Bailong-instruct-7B
會出現要HuggingFace的帳號及密碼，輸入後才可下載--不能使用因為要你的token
4-1.使用download.py，或者一個個去下載
from huggingface_hub import snapshot_download
model_id = "INX-TEXT/Bailong-instruct-7B" # hugginFace's model name
snapshot_download(
repo_id=model_id,
local_dir="INX-TEXT_Bailong-instruct-7B",
local_dir_use_symlinks=False,
revision="main",
use_auth_token="<YOUR_HF_ACCESS_TOKEN>")
YOUR_HF_ACCESS_TOKEN--使用帳號進入後在settings--Access Tokens中去設定
執行 python download.py
5.上傳轉檔及量化後的 GGUF 模型到 Huggingface Repo
避免透過 git pull 來上傳大型的檔案下來寫一個 upload.py
from huggingface_hub import HfApi
import os
api = HfApi()
HF_ACCESS_TOKEN = "<YOUR_HF_WRITE_ACCESS_TOKEN>"
model_id = "NeroUCH/Bailong-instruct-7B-GGUF"
api.create_repo(
model_id,
exist_ok=True,
repo_type="model", # 上傳格式為模型
use_auth_token=HF_ACCESS_TOKEN,
)
# upload the model to the hub
# upload model name includes the Bailong-instruct-7B in same folder
for file in os.listdir():
if file.endswith(".gguf"):
model_name = file.lower()
api.upload_file(
repo_id=model_id,
path_in_repo=model_name,
path_or_fileobj=f"{os.getcwd()}/{file}",
repo_type="model", # 上傳格式為模型
use_auth_token=HF_ACCESS_TOKE)
參考:
https://medium.com/@NeroHin/%E5%B0%87-huggingface-%E6%A0%BC%E5%BC%8F%E6%A8%A1%E5%BC%8F%E8%BD%89%E6%8F%9B%E7%82%BA-gguf-%E4%BB%A5inx-text-bailong-instruct-7b-%E7%82%BA%E4%BE%8B-a2cfdd892cbc
https://medium.com/@zhanyanjiework/%E5%B0%87huggingface%E6%A8%A1%E5%9E%8B%E8%BD%89%E6%8F%9B%E7%82%BAgguf%E5%8F%8A%E4%BD%BF%E7%94%A8llama-cpp%E9%80%B2%E8%A1%8C%E9%87%8F%E5%8C%96-%E4%BB%A5taide-b-11-0-0%E6%A8%A1%E5%9E%8B%E7%82%BA%E4%BE%8B-%E9%83%A8%E7%BD%B2lm-studio-366bc4bcb690
