論文の概要: The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge
- arxiv url: http://arxiv.org/abs/2606.10296v1
- Date: Tue, 09 Jun 2026 01:33:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.248683
- Title: The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge
- Title（参考訳）: 議論の嘘:ログ確率とLCM-as-Judgeによるマルチエージェント議論の診断
- Authors: Ali Keramati, Justin Cheok, Jacob Horne, Mark Warschauer,
- Abstract要約: 本稿では,マルチエージェント討論における3つの信号の関係について検討する。
内部信頼信号が外部評価された推論品質を予測するかどうかを検討する。
信頼性は,コンストラクタとオーディタの約2倍の精度で評価された推論品質と一致していることがわかった。
- 参考スコア（独自算出の注目度）: 2.1987782243719898
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent debate systems are typically evaluated only on whether the final answer is correct, overlooking the quality of the intermediate reasoning that debate is designed to produce. This paper studies the relationship between three signals in multi-agent debate: token-level log-probability distributions over reasoning tokens, LLM-as-judge rubric scores assigned to those tokens, and final task accuracy. We examine whether internal confidence signals predict externally evaluated reasoning quality, and whether either signal aligns with task correctness, across three domains: rubric-based scoring, mathematical reasoning, and factual question answering. Our framework pairs a two-agent debate architecture -- a Constructor and an Auditor -- with an LLM-as-judge that scores each agent's reasoning along instruction following, justification quality, and evidence grounding, together with a critical-failure flag. Experiments in the rubric-scoring domain reveal a consistent four-phase confidence trajectory and a substantial role asymmetry: confidence aligns with judged reasoning quality roughly twice as strongly for the Constructor as for the Auditor, and confidence-based detection of critical reasoning failures is markedly more reliable for the Constructor (AUROC 0.804) than for the Auditor (0.634). These findings motivate the broader cross-domain investigation proposed in this paper.
- Abstract（参考訳）: マルチエージェントの議論システムは、通常、最終回答が正しいかどうかのみ評価され、議論が生み出すように設計された中間的推論の質を見越す。
本稿では,マルチエージェントの議論における3つの信号の関係について検討する。トークンレベル対数確率分布と推論トークンに対するLLM-as-judgeルーブリックスコア,最終的なタスク精度について述べる。
内部信頼信号が外部評価された推論品質を予測し, いずれの信号もタスクの正しさに一致しているかを, ルーブリックベースのスコアリング, 数学的推論, 事実質問応答の3分野にわたって検討した。
我々のフレームワークは、コンストラクタと監査者という2段階の議論アーキテクチャと、各エージェントが指示に従って推論し、品質を正当化し、根拠を定めていることをスコアするLCM-as-judgeと、クリティカル障害フラグとを組み合わせています。
信頼度は、オーディタの約2倍の精度でコンストラクタの判断された推論品質と一致し、コンストラクタ(AUROC 0.804)ではオーディタ(0.634)よりも信頼性が高い。
これらの知見は, より広範なクロスドメイン調査の動機となっている。
関連論文リスト
- Early-Token Confidence Predicts Reasoning Quality in Multi-Agent LLM Debate [2.1987782243719898]
本稿では,固有信頼信号,復号化によるトークンレベルのログ確率が推論品質を予測できるかどうかを検討する。
初期の信頼感、特に最初の数個のトークンの中では、推論品質の予測が一貫して最強であることに気付きました。
論文 参考訳（メタデータ） (2026-06-09T01:52:59Z) - Measuring Reasoning Quality in LLMs: A Multi-Dimensional Behavioral Framework [9.601233098598456]
本研究では,LLMにおける推論品質を測定するための多次元統合フレームワークを提案する。
4つのベンチマークから975項目にまたがる7つのLCM実験により、このフレームワークは精度のみのメトリクスから見えない振る舞いを明らかにしている。
論文 参考訳（メタデータ） (2026-05-23T17:03:42Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。
TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。
我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
論文 参考訳（メタデータ） (2026-04-29T19:32:58Z) - Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。
REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。
スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
論文 参考訳（メタデータ） (2026-02-18T02:55:55Z) - Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness [4.129847064263056]
ルーブリックをベースとした短問合せ学習における大規模言語モデルの性能を体系的に評価する。
二つのタスクに対してアライメントは強いが、粗い粒度が増すにつれて劣化する。
実験により、モデルが注射に抵抗性がある一方で、同義置換に敏感であることが判明した。
論文 参考訳（メタデータ） (2025-12-21T05:22:04Z) - FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning [62.452350134196934]
FaithCoT-Benchは、インスタンスレベルのCoT不信検出のための統一ベンチマークである。
我々の枠組みは差別的な決定問題として不誠実検出を定式化している。
FaithCoT-Bench は LLM のより解釈可能で信頼性の高い推論に向けた将来の研究の基盤となる。
論文 参考訳（メタデータ） (2025-10-05T05:16:54Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - Debate, Deliberate, Decide (D3): A Cost-Aware Adversarial Framework for Reliable and Interpretable LLM Evaluation [0.0]
本稿では、役割特化エージェント間の構造的議論を組織化する、費用対効果のある多エージェントフレームワークであるDebate, Deliberate, Decide(D3)を紹介する。
我々は,反復的議論の下で信頼性と収束性を特徴付けるスコアギャップの確率論的モデルを開発する。
我々は,人間の判断に対する最先端の合意,匿名化による位置バイアスと冗長性バイアスの低減,そして,適切な費用対精度のフロンティアを示す。
論文 参考訳（メタデータ） (2024-10-07T00:22:07Z) - Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。
このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。
このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
論文 参考訳（メタデータ） (2024-03-15T02:38:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。