來源：https://blog.csdn.net/2403_87969572/article/details/156811309

抓取時間（ISO本地）：2026-05-18 05:17:27

---

文章目錄

• 前言
• 一、 原理淺析：為什麼 RAG 需要重排序？
• • 1. Bi-Encoder（雙編碼器）的侷限性
  • 2. Cross-Encoder（交叉編碼器）的降維打擊
  • 3. 標準 RAG 流程：粗排 + 精排
• 二、 環境準備
• • 1. 安裝核心庫
  • 2. (可選) 設定環境變數
• 三、 核心部署程式碼
• 四、進階程式：直觀體驗 Reranker 的“語義照妖鏡”作用
• • 場景：關於“貓”的科普查詢
  • 為什麼這個程式能讓大模型“開竅”？

---

前言

在構建 RAG（檢索增強生成）系統時，很多人會發現：即便用了向量資料庫，檢索回來的前幾個文件依然可能“牛頭不對馬嘴”。這是因為向量搜尋（粗排）側重於語義空間的距離，而 Reranker（精排） 能夠深度分析查詢句與文件句之間的細微邏輯關係。

今天我們部署由智源研究院（BAAI）開發的 BGE-Reranker-v2-m3，它是目前價效比最高、支援多語言的重排序利器。

---

一、 原理淺析：為什麼 RAG 需要重排序？

在傳統的 RAG 流程中，我們通常使用 Embedding（向量化） 來檢索文件。但向量搜尋本質上是“模糊匹配”，它存在兩個硬傷：

1. Bi-Encoder（雙編碼器）的侷限性

向量檢索（如 BGE-Embedding）採用的是 Bi-Encoder 架構：問題（Query）和文件（Doc）是分開計算向量的。

• 優點：速度極快，適合從海量資料（百萬級/億級）中初步撈取。
• 缺點：Query 和 Doc 在編碼階段沒有任何互動，無法捕捉到深層語義的細微差別。

2. Cross-Encoder（交叉編碼器）的降維打擊

而 BGE-Reranker 採用的是 Cross-Encoder 架構：它將 Query 和 Doc 同時輸入到模型中進行全注意力的深度計算。

• 原理：模型像一位細心的審稿員，同時盯著問題和答案，逐字逐句對比它們的邏輯匹配度。
• 效果：它能識別出“詞相同但意思不同”的干擾項，也能識別出“詞不同但意思相同”的精準答案。

3. 標準 RAG 流程：粗排 + 精排

為了平衡效率和精度，工業界的標準做法是：

1. 粗排（Embedding）：從 100 萬個文件裡快速找回相關度前 100 個。
2. 精排（Reranker）：對這 100 個進行“選美”，精準挑出前 5 個最能解決問題的，最後餵給大模型。

---

二、 環境準備

在部署之前，由於當前 Python 環境庫的相容性問題，我們需要特別注意 tf-keras 的安裝。

1. 安裝核心庫

開啟終端，執行以下命令：

# 安裝官方模型庫
pip install -U FlagEmbedding

# 關鍵一步：解決 Transformers 與新版 Keras 3 的相容性報錯
# 如果不裝這個，執行程式碼時可能會報 "ValueError: Your currently installed version of Keras is Keras 3..."
pip install tf-keras

2. (可選) 設定環境變數

如果你在執行中遇到 TensorFlow 相關的報錯，可以在指令碼開頭或終端設定：

export USE_TORCH=1

三、 核心部署程式碼

BGE-Reranker 的使用極其簡單。它不像大語言模型那樣需要複雜的 Prompt，它只負責給“問題-文件”對打分。

from FlagEmbedding import FlagReranker

# 1. 初始化模型
# use_fp16=True 可以加快推理速度並減少視訊記憶體佔用
reranker = FlagReranker('BAAI/bge-reranker-v2-m3', use_fp16=True) 

# 2. 準備資料
query = "什麼是重排序模型？"
passages = [
    "重排序模型用於在初步檢索後提高文件的排序精度。", # 極度相關
    "今天天氣不錯，適合出去郊遊。",                    # 完全無關
    "BGE模型是由北京人工智慧研究院開發的開源專案。"      # 部分相關（提及了開發者）
]

# 3. 計算得分
# 注意：輸入是 [query, passage] 的列表巢狀
scores = reranker.compute_score([[query, p] for p in passages])

print(f"查詢語句: {query}")
for p, s in zip(passages, scores):
    print(f"得分: {s:.4f} | 文件: {p}")

程式碼第一次執行的時候需要下載模型，大概需要幾分鐘的時間，稍微等待既可

結果解讀：分數越高，表示該文件越能回答或滿足查詢的需求。

---

四、進階程式：直觀體驗 Reranker 的“語義照妖鏡”作用

為了讓大家理解為什麼 RAG 必須要有 Reranker，這個程式模擬了傳統關鍵詞匹配與Reranker 語義重排的區別。

場景：關於“貓”的科普查詢

我們設定了一個陷阱：有的文件包含大量關鍵詞但意思不對，有的文件沒提核心詞但語義完全吻合。

import time
from FlagEmbedding import FlagReranker

def run_visual_demo():
    print("正在載入模型，請稍候...\n")
    # 強制使用 CPU 或 GPU 加速
    reranker = FlagReranker('BAAI/bge-reranker-v2-m3', use_fp16=True)

    # 使用者的真實問題
    query = "貓咪能不能喝牛奶？"

    # 模擬從向量庫檢索出來的“候選文件”（粗排結果）
    # 傳統搜尋可能會因為關鍵詞“貓”和“牛奶”匹配到很多幹擾項
    candidates = [
        "1. 奶牛場裡有很多貓，它們在草地上抓老鼠，非常可愛。", # 關鍵詞重合度高，但完全沒回答問題
        "2. 很多成年貓患有乳糖不耐症，攝入乳製品會導致腹瀉或嘔吐，建議餵食專門的貓奶粉。", # 完美回答
        "3. 超市裡的純牛奶正在打折，適合人類飲用，但不確定寵物是否喜歡。", # 提及了牛奶，相關度一般
        "4. 養貓需要準備貓砂、貓糧和乾淨的飲用水，水是生命之源。", # 提及了養貓，但無關牛奶
    ]

    print(f"使用者問題: 【{query}】")
    print("-" * 60)
    print("原始粗排順序（模擬向量搜尋回來的結果）：")
    for c in candidates:
        print(c)
    
    # 開始重排序
    print("\n--- Reranker 正在深度分析語義中... ---")
    start = time.time()
    input_pairs = [[query, c] for c in candidates]
    scores = reranker.compute_score(input_pairs)
    end = time.time()

    # 排序結果
    results = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)

    print(f"\nReranker 精排後的結果（耗時 {end-start:.3f}s）：")
    for i, (doc, score) in enumerate(results):
        # 簡單的視覺化進度條
        bar = "█" * int(abs(score) if score > 0 else 1) 
        status = "✅ 最佳匹配" if i == 0 else "❌ 干擾項"
        print(f"Rank {i+1} | 分數: {score:7.4f} | {status}")
        print(f"內容: {doc}")
        print("-" * 40)

if __name__ == "__main__":
    run_visual_demo()

執行結果如下：

為什麼這個程式能讓大模型“開竅”？

1. 識別關鍵詞陷阱：文件 1 包含了“奶牛”、“貓”，在傳統搜尋或弱向量搜尋中分很高。但 Reranker 能識別出它在講“抓老鼠”，從而給它打低分。
2. 鎖定邏輯答案：文件 2 解釋了“乳糖不耐症”，這是問題的核心邏輯。Reranker 會敏銳地捕獲到這種邏輯對應關係，將其排在第一。
3. 這就是 RAG 的“最後一步”：在把文件塞給 GPT 之前，透過 Reranker 過濾掉 Rank 2/3/4 的干擾，能極大減少大模型的“幻覺”現象。

---