論文の概要: Training LLM Judges from Language Feedback via Position-Selective Self-Distillation

• arxiv url: http://arxiv.org/abs/2609.38792v1
• Date: Wed, 30 Sep 2026 02:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.036508
• Title: Training LLM Judges from Language Feedback via Position-Selective Self-Distillation
• Title（参考訳）: 位置選択型自己蒸留による言語フィードバックからのLLM判断の訓練
• Abstract要約: 本研究では,LLM審査員を自然言語のフィードバックから訓練すること,特に判断がどの評価基準をどの評価基準で呼び出すか,どのように評価するかに強く依存する主観的タスクについて検討する。 主要なアプローチである結果監督型RL(例えばGRPO)は、最終判定の精度によってのみ決定される単一のスカラーでロールアウト中の全てのトークンを信用する。 我々は,教師が特定の基準表現に確率を集中させる文脈シャープニングと,教師が複数のフィードバックに整合した選択肢に確率を分配する文脈拡散という2つの体制を同定する。
• 参考スコア（独自算出の注目度）: 47.62780913768504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study training LLM judges from natural language feedback, especially for subjective tasks where the verdict depends strongly on which evaluation criteria the judge invokes and how it weighs them. The dominant approach, outcome-supervised RL (e.g., GRPO), credits every token in the rollout with a single scalar determined only by the accuracy of the final verdict, providing no separate credit at the criterion-choice tokens and ignoring the rich language feedback (e.g., preference rationales) that naturally accompanies preference labels. Self-Distillation (SD) is one natural way to use this language feedback: the same model, conditioned on this feedback, acts as a teacher providing dense, position-level supervision. However, not all positions carry equally useful signal. Using the per-position entropy shift between teacher and student, we identify two regimes: context sharpening, where the teacher concentrates probability on a particular feedback-aligned criterion expression, and context spreading, where the teacher distributes probability across multiple feedback-aligned alternatives. We interpret these patterns as follows: sharpening encourages memorization of a particular criterion expression, whereas spreading promotes semantic understanding by preserving these alternatives. Motivated by this asymmetry, we introduce position masking based on the entropy shift that retains the lower tail of the entropy-shift distribution. Experiments show that masking higher-entropy-shift positions improves out-of-distribution generalization over naive SD. The resulting self-distilled judges outperform judges trained with outcome-supervised RL by 2-9 percentage points on the evaluated subjective subcategories, while remaining competitive on objective ones.
• Abstract（参考訳）: 本研究では,LLM審査員を自然言語のフィードバックから訓練すること,特に判断がどの評価基準をどの評価基準で呼び出すか,どのように評価するかに強く依存する主観的タスクについて検討する。 支配的なアプローチである結果管理RL(e , GRPO)は、最終判定の正確性によってのみ決定される単一のスカラーでロールアウトのすべてのトークンを信用し、基準選択トークンで個別のクレジットを提供し、自然に選好ラベルに付随するリッチ言語フィードバック(e , 選好合理性)を無視します。 自己蒸留(SD)は、この言語フィードバックを使用する自然な方法の1つである。 しかし、全ての位置が等しく有用な信号を持っているわけではない。 教師と生徒の配置毎のエントロピーシフトを用いて、教師が特定のフィードバック整合基準式に確率を集中する文脈シャープニングと、教師が複数のフィードバック整合式に確率を分散する文脈拡散という2つの体制を同定する。 我々はこれらのパターンを次のように解釈する: シャープ化は特定の基準表現の記憶を促進する一方、拡散はこれらの代替品を保存することによって意味理解を促進する。 この非対称性により、エントロピー-シフト分布の下端を保持するエントロピーシフトに基づく位置マスキングを導入する。 実験により、高エントロピーシフト位置のマスキングは、単純SDよりも分布外一般化を改善することが示された。 結果、自己蒸留された審査員は、評価された主観的サブカテゴリにおいて、結果監督されたRLで訓練された審査員を2-9ポイント上回り、客観的なサブカテゴリでは競争力を維持する。

関連論文リスト

• OPSRD: On-Policy Self-Role Distillation [7.947611649764756]
  OPSRDは、参照ソリューションを使わずに、政治上の自己蒸留のための特権的な教育コンテキストとして、固定された専門家の役割を使用する。 ロールフリーの学生は軌道を生成し、同じベースモデルの凍結インスタンスはその正確なプレフィックスにロール条件の分布を提供する。 フォワードKLは、個々の語彙への貢献を制限するクリッピングによって、学生が過小評価する代替案をターゲットにしている。
  論文  参考訳（メタデータ） (2026-09-30T14:56:10Z)
• Inductive Feedback for Mixed-Policy Distillation [15.997296479947785]
  言語フィードバックはエラーを特定し、修正を処方する。 オンライン蒸留は、学生が生み出したロールアウトに関する教師の予測に合致するように学生を訓練する。 このアプローチは、フィードバックのほとんどを未使用のままにしながら、フィードバックが動機のない教師の好みを伝達することができる。
  論文  参考訳（メタデータ） (2026-09-28T15:20:35Z)
• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)
• Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
  信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。 異なるデータ条件に合わせた2つの学習方法を提案する。 この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
  論文  参考訳（メタデータ） (2025-09-30T20:36:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。