Co-Evolving LLM Evaluators and Policies via DynamicRubric
Abstractの概要
本論文は、大規模言語モデルにおける評価者主導の事後学習を研究し、ポリシーの最適化において現在のポリシーからサンプリングされた候補応答間の相対的なスコア差を維持することが極めて重要であると論じている。著者らは、候補セットごとに重み付けされたバイナリルーブリック項目を作成するジェネレーターと、その判定結果を応答レベルのスコアに集約する検証者から構成される、応答セット条件付きの評価者・ポリシー共進化フレームワーク「DynamicRubric」を提案している。この手法は、ある応答から別の応答へ確率質量をシフトさせる方向的利得がそれら間の評価者スコア差に等しいことを示す理論的見地に動機付けられており、識別的なスコア差を重要な最適化シグナルとしている。8Bのバックボーンを用いた実験により、評価者の品質と下流のポリシー学習の両方を評価しており、WeChat SearchのAI回答システムへの導入も報告されている。
新規性
本研究の顕著な貢献は、固定のプロンプトのみの評価者や静的なルーブリックを使用するのではなく、監督対象のポリシーとともに共進化する、動的で応答セット条件付きのルーブリック評価者である。また、相対的なスコア差を局所的な学習シグナルとして定式化する確率割り当て分析を通じて、評価者の設計をポリシー最適化に結びつけている。
成果
Qwen3-8Bモデルを使用した学習済みDR-Generator-8Bは、より大規模な32Bの変種を含むゼロショットの動的ルーブリック生成器よりも評価者の性能を向上させ、複数の選好ベンチマークにおいて大規模なスカラー報酬モデルと同等以上の性能を示した。ポリシー学習の教師シグナルとして、DynamicRubricはAlpacaEval2、ArenaHardv2.0、WildBench、WritingBenchにおいて本論文中の最高成績を達成し、より大規模な報酬モデルや静的ルーブリックのベースラインを上回った。また、最適化されたポリシーは検証可能な推論やコーディングタスクでも性能向上を示し、本格的な本番環境への導入前にWeChat Searchで統計的に有意なオンラインの改善が報告されている。
論文の注目点
- DynamicRubricは完全な候補応答セットを条件として評価を行い、現在のポリシー出力間の差異に焦点を当てた重み付けバイナリルーブリック項目を生成する。
- この手法は、ポリシーに基づくサンプルの評価者識別能力とアンカーデータを用いたランキング較正を共同で最適化し、継続的な評価者とポリシーの共進化を支援する。
- 経験的に本フレームワークは評価者の精度と下流のポリシー性能の両方を向上させ、検証可能なタスクへの転移や大規模な本番環境への導入の成功も報告されている。