來源：https://blog.csdn.net/2403_87969572/article/details/156704235

抓取時間（ISO本地）：2026-05-18 05:17:29

---

文章目錄

• 前言
• 一、 硬體與環境準備
• 二、 下載模型權重
• 三、 測試
• 三、 編寫對話 Demo 程式
• 四、 執行與對話
• 五、 常見坑點與最佳化
• 結語

---

前言

ChatGLM2-6B 是清華大學開源的、在中英雙語上表現卓越的對話模型。它不僅效能強勁，更重要的是它對硬體非常友好，透過 4-bit 量化技術，我們甚至可以在一張只有 6GB 視訊記憶體 的家用顯示卡（如 RTX 3060）上流暢執行。今天我們就來手把手完成它的本地部署，並寫一個屬於自己的對話 Demo。

---

一、 硬體與環境準備

在開始之前，請確認你的機器滿足以下要求：

1. 顯示卡：建議視訊記憶體 ≥ 6GB (INT4模式) 或 ≥ 14GB (FP16模式)。
2. 作業系統：Windows (建議使用 WSL2) 或 Linux (Ubuntu)。
3. 開發工具：已安裝 Anaconda 或 Miniconda。

根據你的 CUDA 版本安裝 PyTorch，並安裝 Transformers 等核心庫：

# 安裝 PyTorch (以 CUDA 11.8 為例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

如果是直接選用配置好Pytorch的伺服器來做的話就可以跳過上一步，進入下一步。

# 克隆程式碼庫並安裝依賴
git clone https://github.com/THUDM/ChatGLM2-6B

cd ChatGLM2-6B
pip install -r requirements.txt

---

二、 下載模型權重

由於模型權重檔案較大（約 12GB），國內使用者推薦使用 ModelScope (魔搭社群) 下載，速度更快：

# 安裝 modelscope
pip install modelscope

python -c "from modelscope import snapshot_download; snapshot_download('ZhipuAl/chatglm2-6b', cache dir='./')"

下載過程相對來說長一點，根據網路情況浮動，大約需要二十分鐘左右

---

三、 測試

建立python輸入以下程式碼：

from transformers import AutoTokenizer, AutoModel
import torch

# 1. 模型路徑（如果是當前目錄，直接填資料夾名）
model_path = "ZhipuAI/chatglm2-6b" 

# 2. 載入 Tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# 3. 載入模型（根據視訊記憶體選擇一種）

# 方案 A：視訊記憶體 > 13G (FP16)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True).cuda()

# 方案 B：視訊記憶體 6G-8G (INT4 量化 - 最常用)
# model = AutoModel.from_pretrained(model_path, trust_remote_code=True).quantize(4).cuda()

# 方案 C：無顯示卡 (CPU 模式)
# model = AutoModel.from_pretrained(model_path, trust_remote_code=True).float()

model = model.eval()

# 4. 開始對話
response, history = model.chat(tokenizer, "你好，請介紹一下你自己", history=[])
print(response)

並儲存為test.py

在終端中執行：

python my_chat.py

出現以下介面大機率就是可以的了，這個進度條是正在載入權重檔案，每次重新執行程式的時候需要載入

出現以下介面，也就是AI給的答覆，那就是ok了的，這是對我們程式裡面的那句話 你好，請介紹一下你自己 的答覆

三、 編寫對話 Demo 程式

ChatGLM2本身有提供web程式，但是由於部分伺服器並沒有分配公網IP，並且為了不依賴複雜的 Web 介面，我們直接寫一個高效的 終端流式對話程式。流式對話可以讓模型像“打字機”一樣實時輸出結果，體驗極佳。

新建檔案 demo.py，貼上以下程式碼：

import os
import sys
import torch
import warnings
from transformers import AutoTokenizer, AutoModel, logging

# ================= 1. 環境與日誌最佳化 =================
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'
os.environ['TF_ENABLE_ONEDNN_OPTS'] = '0'
logging.set_verbosity_error()
warnings.filterwarnings("ignore")

# 強制 Python 的標準輸入輸出使用 UTF-8 編碼，防止 Windows 報錯
if sys.platform == "win32":
    import io
    sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
    sys.stdin = io.TextIOWrapper(sys.stdin.buffer, encoding='utf-8')

# ================= 2. 載入模型 =================
model_path = "ZhipuAI/chatglm2-6b"
print("正在啟動 AI 引擎，請稍候...", flush=True)

try:
    tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
    model = AutoModel.from_pretrained(model_path, trust_remote_code=True).quantize(4).cuda()
    model = model.eval()
except Exception as e:
    print(f"模型載入失敗，請檢查視訊記憶體或路徑: {e}")
    sys.exit(1)

# ================= 3. 對話邏輯 =================
def main():
    history = []
    os.system('cls' if os.name == 'nt' else 'clear')
    
    print("\n" + "="*50)
    print("ChatGLM2-6B 本地助手已就緒！")
    print("Tips: 如果顯示亂碼，請先執行 'chcp 65001'")
    print("輸入 'clear' 重置記憶，輸入 'exit' 退出")
    print("="*50 + "\n")

    while True:
        try:
            # 相容性處理：手動讀取輸入並清理掉可能導致崩潰的字元
            print("使用者 >>> ", end="", flush=True)
            query = sys.stdin.readline().strip()
            
            if not query: continue
            if query.lower() == "exit": break
            if query.lower() == "clear":
                history = []
                os.system('cls' if os.name == 'nt' else 'clear')
                print("記憶已清空。")
                continue

            print("AI >>> ", end="", flush=True)
            
            current_length = 0
            # stream_chat 會自動處理 history，確保上下文連貫
            for response, history in model.stream_chat(tokenizer, query, history=history):
                # 列印增量部分
                new_text = response[current_length:]
                print(new_text, end="", flush=True)
                current_length = len(response)
            print() 

        except UnicodeDecodeError:
            print("\n[錯誤] 檢測到編碼異常，請嘗試輸入純文字，或在執行前執行 'chcp 65001'")
        except KeyboardInterrupt:
            print("\n對話已終止。")
            break
        except Exception as e:
            print(f"\n[執行異常]: {e}")

if __name__ == "__main__":
    main()

---

四、 執行與對話

在終端中執行：

python my_chat.py

當看到 ChatGLM2-6B 本地助手已就緒！ 後，你就可以開始使用它了！

對話示例：

---

五、 常見坑點與最佳化

1. 視訊記憶體溢位 (OOM)：如果你的視訊記憶體只有 6G-8G，必須使用 .quantize(4)。如果沒有顯示卡，只能用 CPU 執行（加 .float()），但響應時間可能長達數分鐘。
2. 多輪對話變慢：隨著對話輪數增加，history 列表會變長，佔用更多記憶體。建議每隔一段時間輸入 clear 重置。
3. Tokenizer 警告：第一次執行如果看到“Migrating old cache”，請耐心等待，這是 Transformers 庫在升級快取結構。

結語

ChatGLM2-6B 是目前個人開發者最值得嘗試的模型之一。透過本文的部署，你已經在本地擁有了一個不聯網、保護隱私且完全可控的 AI 助手。接下來，你可以嘗試接入你的知識庫（RAG）或進行 LoRA 微調！

---

如果你覺得這篇文章有幫助，請點贊並收藏，歡迎在評論區討論你遇到的問題！