論文の概要: Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation
- arxiv url: http://arxiv.org/abs/2608.14684v1
- Date: Wed, 05 Aug 2026 03:35:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.963517
- Title: Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation
- Title（参考訳）: オンデマンド自己蒸留によるLLM審査員のルブリック干渉の緩和
- Abstract要約: LLM審査員は、きめ細かいルックスチェックリストに対する反応をますます評価している。
現在のメソッドは通常、それぞれを別々の推論コールで評価する。
その結果,どのルーリックが同一であるかによって,1つのルーリックシフトの判定が行われることがわかった。
我々は、4つの制御された操作を通して干渉を探索する測定フレームワークを開発した。
- 参考スコア（独自算出の注目度）: 40.2978746802106
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: LLM judges increasingly evaluate responses against fine-grained rubric checklists. When a sample requires multiple rubrics, current methods typically assess each in a separate inference call. Evaluating all rubrics in a single pass is a natural alternative with greater efficiency, but we find that it introduces rubric interference: the verdict on one rubric shifts depending on which other rubrics are co-present. In a preliminary study, only one-third of samples receive fully consistent verdicts when evaluated under rubric sets of varying composition. We develop a measurement framework that probes interference through four controlled operations: rubric set expansion, subsetting, reordering, and noise injection. To mitigate interference without external supervision, we propose Self-Anchored Rubric Alignment (SARA). SARA uses a model's own single-rubric judgments as stable anchors and aligns multi-rubric reasoning with these anchors through on-policy self-distillation. We validate SARA on three datasets (HealthBench, FLASK, ResearchQA) and two model families (Qwen3, Llama-3.1). SARA consistently improves evaluation consistency while maintaining agreement with both base models and GPT-4.1 as a reference judge. Furthermore, the learned consistency transfers across datasets, confirming that SARA teaches a general capability rather than fitting dataset-specific patterns.
- Abstract（参考訳）: LLM審査員は、きめ細かいルックスチェックリストに対する反応をますます評価している。
サンプルが複数のルーブリックを必要とする場合、現在のメソッドは通常、それぞれを別々の推論コールで評価する。
すべてのルーブリックを1つのパスで評価することは、より効率の良い自然な代替手段であるが、ルーブリック干渉(他のルーブリックが共表現されているかによる1つのルーブリックシフトの判定)をもたらすことが判明した。
予備研究では, 試料の3分の1が, 組成の異なるルーリック集合で完全に一貫した評価を受ける。
本研究では, ルーブリック集合拡大, サブセット化, 並べ替え, ノイズ注入という, 制御された4つの操作による干渉を探索する計測フレームワークを開発する。
外部監視を伴わない干渉を軽減するため,SARA(Self-Anchored Rubric Alignment)を提案する。
SARAは、モデル自身の単一ルーブリック判断を安定したアンカーとして使用し、複数のルーブリック推論を、政治上の自己蒸留を通じてこれらのアンカーと整合させる。
我々は,SARAを3つのデータセット(HealthBench,FLASK,ResearchQA)と2つのモデルファミリー(Qwen3,Llama-3.1)で検証した。
SARAは、基準判断として、両方のベースモデルとGPT-4.1との一致を維持しながら、評価の一貫性を一貫して改善する。
さらに、学習された一貫性はデータセット間で伝達され、SARAがデータセット固有のパターンに適合するのではなく、一般的な能力を教えていることを確認した。
関連論文リスト
- SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。
正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。
変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
論文 参考訳（メタデータ） (2026-08-04T13:16:15Z) - DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。
我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
論文 参考訳（メタデータ） (2026-06-24T22:40:46Z) - Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。
信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。
本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
論文 参考訳（メタデータ） (2026-06-23T05:28:47Z) - The Evaluation Game: Beyond Static LLM Benchmarking [2.168753020470345]
本稿では,評価者とトレーナーの相互作用を2人プレイヤゲームとして形式化するゲーム理論フレームワークを提案する。
モデルの局所性依存性を示す実証的証拠を提供する。
ベンチマークは静的なプロンプトのセットではなく,評価者のグループアクションの下での軌道である。
論文 参考訳（メタデータ） (2026-05-19T05:22:21Z) - Deployment-Relevant Alignment Cannot Be Inferred from Model-Level Evaluation Alone [11.663456969895462]
機械学習におけるアライメント評価は、主にモデルの評価となっている。
本稿では, モデルレベルの評価だけでは, 配置関連アライメントを推定できないことを論じる。
論文 参考訳（メタデータ） (2026-05-06T03:28:30Z) - GSAR: Typed Grounding for Hallucination Detection and Recovery in Multi-Agent LLMs [0.0]
クレームを4方向のタイポロジー(接地,非接地,矛盾,相補的)に分割する基盤性フレームワークを提案する。
GSARは、明示的な計算予算の下で、結合された回復を伴うエビデンス型スコアリングを結合した最初の基盤フレームワークである。
論文 参考訳（メタデータ） (2026-04-25T16:20:28Z) - C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。
C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか?
二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
論文 参考訳（メタデータ） (2026-03-05T13:36:47Z) - FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge [10.584937371987742]
既存のLCM-as-a-Judgeシステムでは、タスクやドメイン固有の評価基準への適応性が制限されている。
適応的で、偏りがあり、一貫したLCM-as-a-JudgeであるFairJudgeを提案する。
論文 参考訳（メタデータ） (2026-02-06T11:35:32Z) - Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。
ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。
我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
論文 参考訳（メタデータ） (2026-01-29T21:26:50Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。