論文の概要: Debate Helps Weak Judges Reward Stronger Models

• arxiv url: http://arxiv.org/abs/2605.27483v1
• Date: Tue, 26 May 2026 13:02:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.36624
• Title: Debate Helps Weak Judges Reward Stronger Models
• Title（参考訳）: ディベート氏、より強力なモデルで判事の判断を下す
• Authors: Ethan Elasky, Frank Nakasako, Naman Goyal,
• Abstract要約: 評論は、批評家の能力が審査員の能力を超えなければならない場合に、コンサルタントの基準を判断する上で有効であることを示す。 我々のセットの2つの非対応ペアでは、議論はヌルエフェクトを生じ、批判者が書き起こしに入ると、検証率はパーセンテージポイント減少する。 これらの結果は、検証可能な領域におけるトレーニング不要なスケーラブルな監視のための、より安価なプリミティブであることを示唆している。
• 参考スコア（独自算出の注目度）: 3.8081143468439147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite theoretical promise, debate as a scalable oversight protocol has produced mixed empirical results: gains in some settings, and null effects in others, especially when the judge does not have information hidden from it. We study proposer-critic debate in a stronger-debater/weaker-judge setting on programmatically verifiable code and logic tasks. Debate helps the judge over a consultancy baseline when the critic provides a usable advantage: the critic's classification ability must exceed the judge's, and the judge must treat critic speeches as claims to verify rather than testimony to summarize. On the three of five pairings where the condition holds, proposer-critic debate's gains are statistically significant over consultancy, and these pairings are the most capable model pairings. On the two non-responder pairings in our set, debate produces null effects, and judge verification rates drop by tens of percentage points once a critic enters the transcript. In these cases the critic's binary-classification ability and the judge's are within noise of each other, and the critic's disagreement is parsed as testimony rather than a claim to check. Ablating rebuttal rounds from debate produces no measurable change in judge performance: a single independent critique recovers the bulk of debate's benefit at lower inference cost. These findings suggest a cheaper primitive for training-free scalable oversight in verifiable domains (answer, critique, judge) and a pre-deployment audit (does the critic beat the judge, and will the judge verify it?) that predicts when debate will help.
• Abstract（参考訳）: 理論的な約束にもかかわらず、スケーラブルな監視プロトコルとしての議論は、いくつかの設定での利得と、他の設定での無効効果、特に裁判官がそれから情報を隠していない場合に、様々な実験結果を生み出した。 本稿では,プログラムで検証可能なコードと論理タスクに関する,より強力なデバタ/ウィーカー・ジャッジ設定における提案者・批判的議論について検討する。 批評家の分類能力は、裁判官の分類能力を超えなければならないし、裁判官は、批評家のスピーチを、要約する証言よりも検証する主張として扱う必要がある。 条件が成立する5つのペアリングのうち3つにおいて、提案者・批判的討論の利得はコンサルティングよりも統計的に有意であり、これらのペアリングは最も有能なモデルペアリングである。 我々のセットの2つの非対応対について、議論はヌル効果を生じさせ、批判者が書き起こしに入ると、検証率は数十パーセント減少する。 これらのケースでは、批評家の二項分類能力と審査員は互いにノイズにさらされており、批評家の意見の相違は、チェックする主張ではなく、証言として解釈される。 1つの独立した批判は、推論コストの低さで議論の利益の大部分を回復させる。 これらの結果は、検証可能なドメイン(回答、批判、裁判官)と事前デプロイ監査(批評家は審査員に勝って、審査員はそれを検証するのか?)において、議論がいつ役立つかを予測する、トレーニングなしのスケーラブルな監視のためのより安価なプリミティブが示唆されている。

関連論文リスト

• How Long Reasoning Chains Influence LLMs' Judgment of Answer Factuality [9.19183567561999]
  大規模言語モデル(LLM)は、人間の評価のためのスケーラブルなサロゲートとして広く採用されているが、そのような判断は依然として不完全であり、表面レベルの偏見に影響を受けやすい。 推論可能なモデルの増加に伴い、ジェネレータの推論内容を判断者に公開することで、よりリッチな情報を提供し、判定精度を向上させるための自然な候補となる。 弱い裁判官は存在を推論することで容易に揺れるが、強い裁判官は情報的証拠として推論を部分的に活用できる。
  論文  参考訳（メタデータ） (2026-04-08T07:21:18Z)
• Toward Robust LLM-Based Judges: Taxonomic Bias Evaluation and Debiasing Optimization [44.252712888022835]
  大規模言語モデル(LLM)に基づく審査員は、自動評価と報酬モデリングに広く採用されている。 LLMに基づく審査員のバイアスを系統的に定量化するためのベンチマークであるJiceBiasBenchを提案する。 我々は、生成的および差別的な裁判官の両方にまたがって実験を行い、現在の裁判官が有意かつ多様なバイアスパターンを示すことを明らかにした。
  論文  参考訳（メタデータ） (2026-03-09T08:32:21Z)
• AI-Assisted Moot Courts: Simulating Justice-Specific Questioning in Oral Arguments [7.808898285349819]
  そこで我々は,モットコートスタイルのトレーニングにおいて,AIモデルが正義固有の質問を効果的にシミュレートできるかどうかを検討する。 本稿では,プロンプトベースおよびエージェントによる口頭弁論シミュレータの構築と評価を行う。 シミュレーションされた質問は、人間アノテータによって現実的と見なされることが多く、基礎的な真実の実質的な法的問題への高いリコールが達成されている。
  論文  参考訳（メタデータ） (2026-03-05T01:45:28Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• AI Debaters are More Persuasive when Arguing in Alignment with Their Own Beliefs [0.13525723298325706]
  我々は主観的な質問に議論を適用し、実験の前に大きな言語モデルの事前の信念を明示的に測定する。 我々は2つの議論プロトコルを逐次かつ同時に実装し、潜在的体系的バイアスを評価する。 本研究の主目的は, モデルが従来の信念よりも, 判断ペルソナと整合した姿勢を擁護する傾向にあることにある。
  論文  参考訳（メタデータ） (2025-10-15T05:02:13Z)
• AI Debate Aids Assessment of Controversial Claims [73.8907110799657]
  我々は、AI論争が、議論の的になっている事実性主張の側面に対立する2つのAIシステムを議論させることで、偏見のある裁判官を真実に導くことができるかどうかを調査する。 研究Iでは、議論は人間の判断精度と信頼性の校正を継続的に改善し、コンサルタントを上回ります。 研究IIでは、人間のような人格を持つAI裁判官は、人格を持たない人格(70.1%)やデフォルトのAI裁判官(69.8%)よりも高い精度(78.5%)を達成する。 これらの調査結果は、AIの議論が、競争対象ドメインにおけるスケーラブルでバイアス耐性のある監視への有望な道であることを示している。
  論文  参考訳（メタデータ） (2025-06-02T19:01:53Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• On scalable oversight with weak LLMs judging strong LLMs [67.8628575615614]
  我々は、2つのAIが1人の裁判官を納得させようとする議論、すなわち1人のAIが1人の裁判官を説得し、質問をする。 大規模言語モデル(LLM)をAIエージェントと人間の判断のためのスタンドインの両方として使用し、判断モデルがエージェントモデルよりも弱いと判断する。
  論文  参考訳（メタデータ） (2024-07-05T16:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。