論文の概要: Backbone-Adaptive Evidence Routing for Robust Pairwise LLM Judging

• arxiv url: http://arxiv.org/abs/2609.30751v1
• Date: Fri, 25 Sep 2026 03:26:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.216237
• Title: Backbone-Adaptive Evidence Routing for Robust Pairwise LLM Judging
• Title（参考訳）: 頑健なLLM判断のためのバックボーン適応エビデンスルーティング
• Abstract要約: ペアワイズ言語モデル審査員は直接比較、推論、参照ベースの検証を通じて証拠を収集できる。 本稿では,候補対称性を保ちながらエビデンス機構を適応させるバックボーン適応エビデンスルーティング(BAER)を提案する。 4つのベンチマークと2つの8B判事バックボーンで、BAERは8つの条件で比較した手法の中で最も高いテスト精度を達成している。
• 参考スコア（独自算出の注目度）: 8.453218830690744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pairwise language-model judges can gather evidence through direct comparison, reasoning, or reference-based verification, but no single protocol is best across benchmarks and judge backbones. We introduce Backbone-Adaptive Evidence Routing (BAER), which adapts the evidence mechanism while preserving candidate symmetry: swapping the two responses may reverse the preference but cannot change its strength. BAER separates each expert's signed preference from candidate-invariant reliability and builds three symmetric heads: evidence stacking, reliability-based expert routing, and candidate-blind reference verification. Development data select one head for each benchmark--backbone condition, and that choice is frozen before testing. Across four benchmarks and two 8B judge backbones, BAER achieves the highest test accuracy among the compared methods in all eight conditions, with full prediction coverage and gains of 0.87--7.32 points over the strongest external baseline. The results show that adapting how evidence is gathered is more reliable than fixing one judging protocol everywhere.
• Abstract（参考訳）: ペアワイズ言語モデル審査員は直接比較、推論、参照ベースの検証を通じて証拠を収集できるが、ベンチマークや判断バックボーンで最高のプロトコルは存在しない。 候補対称性を維持しつつエビデンス機構を適応させるバックボーン適応エビデンスルーティング(BAER)を導入する。 BAERは、各専門家の署名された好みと、候補不変の信頼性を区別し、3つの対称なヘッドを構築する。 ベンチマークバックボーン条件ごとに1つのヘッドを選択し、その選択はテスト前に凍結される。4つのベンチマークと2つの8B判事バックボーンのうち、BAERは8つの条件すべてにおいて比較したメソッドの中で最も高いテスト精度を達成し、最大の外部ベースラインに対して0.87～7.32ポイントの予測カバレッジとゲインを得た。 その結果, 証拠の収集方法の適合性は, 至る所で判定プロトコルの修正を行うよりも信頼性が高いことがわかった。

関連論文リスト

• The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean [2.822987192839875]
  エージェントベンチマークは、大規模言語モデル(LLM)の比較やデプロイメント決定のガイドにますます使用されている。 実行クリティカルな決定はモデルの代わりに固定された足場によって行われ、スコアラはタスクの正しさを反映しない基準を用いて出力を評価する。 ベンチマークスコアをモデル能力の証拠として解釈できる場合に特徴付ける測定理論の枠組みでこれらの問題を統一する。
  論文  参考訳（メタデータ） (2026-09-06T21:23:11Z)
• SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning [14.505575259468053]
  テスト時強化学習(TTRL)により、ラベル付きフィードバックなしで推論時に言語モデルを自己進化させることができる。 SERPOを導入し、回答投票をクローズドループに置き換え、レスポンスエビデンス、クエリトケン、ポリシーパラメータを共進化させる。 新しいアクターロールアウトはアーカイブとルーリックの両方をリフレッシュし、3方向の進化ループを閉じる。
  論文  参考訳（メタデータ） (2026-07-29T13:03:07Z)
• PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
  PerceptionRubricsはルーブリックベースの評価フレームワークである。 飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
  論文  参考訳（メタデータ） (2026-06-26T17:59:15Z)
• TrustMargin: Training-Free Arbitration between Parametric Memory and Retrieved Evidence in Large Language Models [10.379427318055434]
  我々は、このポストジェネレーションコンフリクトを回答レベルのソース仲裁として研究する。 DirectとRAGが同じ凍結モデルから回答すると、どのソースを信頼するかを判断します。 本稿では,既存の2つの候補をモデル自身の可能性で評価する,トレーニングフリーのプラグイン・アンド・プレイ調停層TRUSTMARGINを提案する。
  論文  参考訳（メタデータ） (2026-06-07T01:25:09Z)
• SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks [0.30586855806896046]
  有限エンベロープ命題は、厳密な順序付けが構成対逆転を許容するか否かを計測可能なペアワイズ判定率に結びつける。 テストするすべてのベンチマークにおいて、設定の選択だけでペアワイズな判断を覆すことができます。
  論文  参考訳（メタデータ） (2026-05-25T06:54:44Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality [49.62610727661819]
  既存のファクトチェッカーは主に汎用ドメイン、ファクトイドスタイルの原子クレーム用に設計されている。 本稿では,ベンチマークラベルと有理値が明示的に変更可能なAudit-then-Score (AtS)を提案する。 我々は、AtSを、監査可能な有理量を持つDRR事実性ベンチマークであるDeepFact-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-06T05:05:57Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。