【AI專知】什麼是 RLHF？如何運作？一文解析 AI 如何從人類回饋中精進

同樣是語言模型，為什麼 ChatGPT  這類 AI 助理能聽懂指示、拒絕不該回答的問題，而不是胡亂接龍？

答案就在 RLHF 這個技術。它是預訓練結束之後的一道加工程序，把真人的偏好判斷，轉換成模型能學習的訊號。

它不是什麼新概念，這個核心方法早在 2017 年就被提出，如今已是幾乎所有主流對話式 AI 的標準配備。

本文將為你拆解 RLHF 是什麼？三個階段、實際用途，以及它的使用限制。
 

想要擁有一台心儀的手機記得到傑昇通信，挑戰手機市場最低價再享會員尊榮好康及好禮抽獎券，舊機也能高價現金回收，門號續約還有高額優惠！快來看看手機超低價格！買手機．來傑昇．好節省！

 

RLHF 是什麼？

RLHF 全名為 Reinforcement Learning from Human Feedback，中文譯為「基於人類回饋的強化學習」。它是一種後訓練（post-training）方法，在模型完成預訓練之後，再用人類的偏好判斷去調整它的行為。

邏輯其實很簡單：讓模型針對同一個問題產生多個回答，請真人比較「A 比較好還是 B 比較好」，再把比較結果轉成模型能學習的訊號。

這有點像獎勵訓練，只是差別在於：決定什麼行為值得獎勵的是真人的使用偏好，而不是工程師決定。

 

為什麼光靠餵更多資料給 AI 還不夠？

預訓練階段，模型的任務就是「預測下一個字」。

它很擅長判斷「統計上接下來最可能出現什麼」，卻完全沒有「這句話不該說」的概念。所以遇到有害提示時，只要模式吻合，它就會自然接下去。

更關鍵的是，這個落差無法靠加大資料量解決。但只要用人類偏好資料訓練的摘要模型，品質勝過單純堆疊更多訓練資料的模型。

簡短總結：更多資料讓模型更「有能力」，但不會讓它「對齊」。對齊意味著讓 AI 系統的行為、目標與價值觀，與人類的真實意圖及利益保持一致。

 

RLHF 怎麼運作？三個階段流程

第一階段：照著範例學（監督式微調 SFT）

給模型看一批由人撰寫或審核過的「問題、好答案」範例，讓它照著模仿。這一步教的是格式：遇到這種問題，該用什麼形式回答。

嚴格來說這還不算 RLHF，就是普通的範例提示。但範例若粗糙，模型學到的就是粗糙的樣板。

更重要的是，此時的模型只知道「一個答案長什麼樣」，還不知道「一個更好的答案長什麼樣」。

 

第二階段：請人比較，訓練一個評分員（獎勵模型）

不過，訓練過程中每個答案都找真人評分，成本高到不可行。

所以工程師會拿這些比較結果，另外訓練一個叫獎勵模型（Reward model）的小模型，讓它學會模仿人的評分標準，之後就由它代班打分。

 

第三階段：反覆練習、依分數修正

有了評分員，就能讓模型不斷「寫答案 → 被打分 → 微調自己」，逐步提高分數。負責這個修正過程的演算法，最常見的是 PPO（近端策略優化）。

不過，RLHF 讓模型更聽得懂指示、更少講出明顯有害的話，但它不會讓模型變「誠實」。它對齊的是訓練時人類表現出來的偏好，不是客觀事實。

 

RLHF 實際用在哪些地方？

RLHF 的強項是處理主觀、有細微差異、難以用規則寫死的任務：
 

• 對話式 AI 助理：遵循多步驟指示、在話題轉換時維持脈絡、用合適語氣回應

• 安全性與內容審核：模型的「拒答」行為基本上就是 RLHF 的產物

• 專業領域應用：在醫療、法律、金融等場景，讓模型加上適當但書、標註來源，而非給出過度自信的斷言

• 程式碼生成與生成式媒體：偏好可讀性高、符合安全實務的寫法；或調整圖像美感、語音的自然停頓
   

反過來說，若任務規則明確、答案有標準對錯，用 SFT 通常就夠了，成本還低得多。RLHF 不是萬用解方。

 

RLHF 的限制，以及後來的替代方案

獎勵駭客（Reward Hacking）：模型學會鑽漏洞而非真的變好。超過某個臨界點後繼續優化，分數仍上升，人類實際評價卻變差。

偏好誤設：獎勵模型忠實反映評估者的偏見。評估者偏好冗長回答，模型就學會囉嗦；偏好聽起來有自信的答案，模型就學會在不該自信時裝自信。

成本與邊界情境：人力評估比自監督方法慢也貴，跨語言、跨領域是倍數成長。而模型只在被評估過的提示分布上表現良好，遇到罕見領域或對抗性輸入，對齊效果容易失效。

 

常見問題（FAQ）

Q1：RLHF 和 SFT 有什麼不同？

SFT 用人寫好的示範答案教模型「一個回答應該長什麼樣」；RLHF 則用人類的比較與排序，教模型「哪個回答比較好」。SFT 是 RLHF 流程的第一步，兩者是先後關係，不是二選一。
 

Q2：PPO 在 RLHF 裡扮演什麼角色？

PPO 是最常用於第三階段的強化學習演算法，負責依獎勵模型的評分更新參數。它搭配 KL 散度懲罰使用，確保模型追求高分的同時不會偏離 SFT 版本太遠而崩壞。
 

Q3：經過 RLHF 訓練的 AI，回答就一定正確嗎？

不一定。RLHF 對齊的是人類在訓練中表現出的偏好，不是客觀事實。它讓模型更擅長遵循指示、更少產出明顯不當的內容，但無法保證內容真實。



延伸閱讀：【AI專知】Vibe Coding 是什麼？與傳統 Coding 差異？實用工具分享
延伸閱讀：【AI專知】Gemini Gem 是什麼？有何特色？範例、教學總整理！
延伸閱讀：【AI專知】AI 幻覺是什麼？技術原理？5 大預防方法，提升內容準確性！

 

手機哪裡買價格最便宜划算有保障?

買手機當然要選值得信賴的傑昇通信。

身為全台規模最大、擁有40年專業經營的通訊連鎖，傑昇始終堅持「挑戰手機市場最低價」，再加上會員專屬好康、好禮抽獎券，讓您買得划算又有驚喜！舊機還能高價現金回收，門號續約更享高額優惠，全台超過160間門市隨時為您服務，一間購買連鎖服務，一次購買終生服務，不只買得安心，更能用得開心。買手機．來傑昇．好節省！

空機破盤價格查詢

舊機回收估價查詢

傑昇門市據點查詢