論文の概要: Early-Token Confidence Predicts Reasoning Quality in Multi-Agent LLM Debate
- arxiv url: http://arxiv.org/abs/2606.10307v1
- Date: Tue, 09 Jun 2026 01:52:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.255011
- Title: Early-Token Confidence Predicts Reasoning Quality in Multi-Agent LLM Debate
- Title（参考訳）: マルチエージェントLDM議論における早期信頼度予測
- Authors: Ali Keramati, Justin Cheok, Jacob Horne, Mark Warschauer,
- Abstract要約: 本稿では,固有信頼信号,復号化によるトークンレベルのログ確率が推論品質を予測できるかどうかを検討する。
初期の信頼感、特に最初の数個のトークンの中では、推論品質の予測が一貫して最強であることに気付きました。
- 参考スコア（独自算出の注目度）: 2.1987782243719898
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating reasoning quality in multi-agent LLM systems is challenging, especially for open-ended tasks without reference answers. We investigate whether intrinsic confidence signals, token-level log-probabilities from decoding, can predict reasoning quality as assessed by LLM-as-judge evaluation. Using a debate-based essay scoring framework, we compare confidence proxies against rubric-based judge scores across two ASAP essay sets. We find that early-token confidence, particularly within the first few generated tokens, is consistently the strongest predictor of reasoning quality, outperforming full-sequence statistics. Analysis of log-probability trajectories shows that the opening phase of generation is the most heterogeneous and therefore most informative. We also observe a systematic asymmetry between agent roles, with stronger alignment between confidence and quality for supportive reasoning than for adversarial critique. These results suggest that early decoding dynamics provide a lightweight and effective signal for estimating reasoning reliability in multi-agent LLM systems.
- Abstract（参考訳）: マルチエージェントLLMシステムにおける推論品質の評価は,特に参照応答のないオープンエンドタスクでは困難である。
LLM-as-judge 評価により,固有信頼信号,トークンレベルの復号化によるログ確率が推論品質を予測できるかどうかを検討した。
議論に基づくエッセイスコアリングフレームワークを用いて、2つのASAPエッセイセットにおいて、ルーリックベースの判断スコアに対する信頼性プロキシを比較した。
早い段階での信頼感、特に最初の数個のトークン内では、推論品質の予測が一貫して最強であり、完全なシーケンス統計よりも優れています。
対数確率軌道の解析は、生成の開始段階が最も異質であり、したがって最も有益であることを示している。
また, エージェントの役割間の系統的非対称性も観察し, 反逆的批判よりも支持的推論に対する信頼性と品質の整合性が強くなった。
これらの結果から,早期復号化力学はマルチエージェントLLMシステムにおける推論信頼性を推定するための軽量かつ効果的な信号となることが示唆された。
関連論文リスト
- The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge [2.1987782243719898]
本稿では,マルチエージェント討論における3つの信号の関係について検討する。
内部信頼信号が外部評価された推論品質を予測するかどうかを検討する。
信頼性は,コンストラクタとオーディタの約2倍の精度で評価された推論品質と一致していることがわかった。
論文 参考訳（メタデータ） (2026-06-09T01:33:15Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Robust Checkpoint Selection for Multimodal LLMs via Agentic Evaluation and Stability-Aware Ranking [0.4562811934651716]
評価の不確実性の下では、チェックポイントの選択を堅牢な決定問題として定式化する。
実世界のキュレートされたデータ、構造化LCMに基づく判断、および多段階ランキングプロトコルを統合する多段階フレームワークを提案する。
我々は、データ品質、特にOCR可読性は、評価の妥当性の重要な決定要因であることを示した。
論文 参考訳（メタデータ） (2026-05-13T12:18:32Z) - Epistemic Context Learning: Building Trust the Right Way in LLM-Based Multi-Agent Systems [94.9141394384021]
マルチエージェントシステムの個々のエージェントは、しばしば堅牢性を欠き、誤解を招く仲間に盲目的に適合する傾向にある。
この弱点は, 相互信頼度を評価する能力の欠如に起因していると考えられる。
まず,歴史認識参照の学習問題を定式化し,ピア間の歴史的相互作用を付加的な入力として導入する。
次に,歴史的に構築されたピアプロファイルの予測を行うための推論フレームワークであるEcestemic Context Learning (ECL) を開発した。
論文 参考訳（メタデータ） (2026-01-29T13:59:32Z) - Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness [4.129847064263056]
ルーブリックをベースとした短問合せ学習における大規模言語モデルの性能を体系的に評価する。
二つのタスクに対してアライメントは強いが、粗い粒度が増すにつれて劣化する。
実験により、モデルが注射に抵抗性がある一方で、同義置換に敏感であることが判明した。
論文 参考訳（メタデータ） (2025-12-21T05:22:04Z) - Self-Evaluating LLMs for Multi-Step Tasks: Stepwise Confidence Estimation for Failure Detection [1.1087735229999818]
自己評価型大規模言語モデル(LLM)は、複雑な推論において有意義な信頼度推定を提供する。
ステップワイズ評価は一般的に、潜在的なエラーを検出する際の総合的なスコアよりも優れている。
論文 参考訳（メタデータ） (2025-11-10T18:19:51Z) - FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning [62.452350134196934]
FaithCoT-Benchは、インスタンスレベルのCoT不信検出のための統一ベンチマークである。
我々の枠組みは差別的な決定問題として不誠実検出を定式化している。
FaithCoT-Bench は LLM のより解釈可能で信頼性の高い推論に向けた将来の研究の基盤となる。
論文 参考訳（メタデータ） (2025-10-05T05:16:54Z) - LLM-as-a-Judge: Rapid Evaluation of Legal Document Recommendation for Retrieval-Augmented Generation [40.06592175227558]
本稿では,法的な文脈における検索・拡張生成システムの評価に対する原則的アプローチについて検討する。
我々は、クリッペンドルフのαのような従来の合意メトリクスが、AIシステム評価の典型的な歪んだ分布に誤解をもたらす可能性があることを発見した。
本研究は,法的な応用によって要求される精度を維持するための,スケーラブルで費用効果の高い評価への道筋を示唆する。
論文 参考訳（メタデータ） (2025-09-15T19:20:21Z) - Attention Knows Whom to Trust: Attention-based Trust Management for LLM Multi-Agent Systems [52.57826440085856]
LLM-MAS(Large Language Model-based Multi-Agent Systems)は、複雑なタスクを解く上で強力な能力を示すが、エージェントが信頼性の低いメッセージを受け取ると弱いままである。
LLMエージェントは、信頼性を評価することなく、すべての受信メッセージを平等に扱う。
本稿では,メッセージの信頼度を評価するための軽量な注意ベース手法であるAttention Trust Score (A-Trust)を提案する。
論文 参考訳（メタデータ） (2025-06-03T07:32:57Z) - PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
大きな言語モデル(LLM)は予測不能に失敗することが多い。
これは、安全なデプロイメントを保証する上で、大きな課題となる。
PredictaBoardは,新しいベンチマークフレームワークである。
論文 参考訳（メタデータ） (2025-02-20T10:52:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。