EnGRICH: Enhancing Generative Reward Modeling with Critiques from Humans
Abstractの概要
本論文は、生成型報酬モデル（GRM）が単に正確なペアワイズ嗜好判断を予測するだけでなく、その自然言語による批評が信頼性の高いものとなるように訓練する方法を調査しています。著者らは、少量の人間による批評データと大規模な結果のみの嗜好データから初期化される訓練時MetaCriticとともにGRMを訓練するフレームワーク「EnGRICH」を提案しています。MetaCriticは応答固有のルーブリックを生成し、候補となるGRMの批評が重要なキーポイントを正確に網羅しているかを検証することで、スカラーのプロセス報酬と構造化された診断フィードバックの両方をもたらします。訓練中、これらの評価基準はより広範な結果のみのデータへと一般化され、推論時にはMetaCriticを介さずにGRMが単独で動作します。
新規性
EnGRICHは、限られた人間の批評を単なるスカラー報酬に集約してしまうのではなく、再利用可能なキーポイントレベルの評価基準の源泉として扱います。推論時のオーバーヘッドを追加することなく、ルーブリック生成、キーポイント検証、プロセス報酬シェイピング、診断誘導型探索を独自に統合し、これらの基準を結果のみの嗜好データへ一般化しています。
成果
7つの報酬モデルベンチマークと2つの制御バックボーンにおいて、EnGRICHはQwen3-4Bで69.22、Gemma3-12Bで70.32という制御された総合最高平均を達成し、GRPO、RC-GRPO、RM-NLHFを上回りました。また、より高いCC-F1とより低い結果・プロセス間の不整合を達成して批評の質を向上させ、IFEval P-Strict、AlpacaEval 2 LC、Arena-Hard v2 CWにわたる下流のポリシー最適化でも優れた結果をもたらしました。
論文の注目点
- EnGRICHは、インスタンス固有のルーブリックを生成し、批評のキーポイントをMATCH、MISSING、INCORRECTとして検証することで、きめ細かなプロセス監視を提供する訓練時MetaCriticを導入している。
- 本フレームワークは嗜好判定が正しい予測に対してKeypoint-F1プロセス報酬を提供し、グループ内の全サンプリング評価が失敗した際にはルーブリック誘導型探索を活用して勾配シグナルを復元する。
- 実証評価において、推論時にはGRMが単独で動作しながらも、報酬モデリング精度、批評品質指標、および下流のポリシー最適化において一貫した向上が示された。