論文の概要: Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries
- arxiv url: http://arxiv.org/abs/2610.02005v1
- Date: Thu, 01 Oct 2026 16:34:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.290154
- Title: Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries
- Title(参考訳): コーディネート・モーブ・ウィーリング・ボイス:ベイズ方言による複数LLMカウンシルのキャリブレーション---------------------------------------------------------------------------------------------
- Abstract要約: マルチLLMエンファンシルでは、複数の大きな言語モデル(LLM)が質問を意図的に行い、自信のある見積とともに回答を返すことができる。
既存のEmphcouncilアグリゲーション手法は両面で失敗し、信頼度推定は正確さよりも決定性を測る。
我々はベイズ弁証法(Bayesian Dialectical Argumentation, BDA)を導入し, 委員会が提案した, 異議を唱える, あるいは承認する行動を扱う。-----------------古典的アノテータモデルのエンパーによる観察として
- 参考スコア(独自算出の注目度): 3.8696361630784133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A multi-LLM \emph{council} lets several large language models (LLMs) deliberate on a question and return an answer together with a confidence estimate. As these systems become increasingly used for reasoning, that confidence should represent a calibrated \emph{probability of being correct}, and the decision should remain robust when some agents are persistently unreliable. Existing \emph{council aggregation} methods fail on both fronts: their confidence estimates measure decisiveness rather than correctness, and they cannot identify or discount persistently unreliable agents. We introduce Bayesian Dialectical Argumentation (BDA), which treats the council's \emph{typed} moves---who proposed, challenged, or conceded which answer---as observations of a classical annotator model with \emph{per-agent} reliabilities. This formulation recasts multi-agent deliberation as a reliability estimation problem, using the deliberation trace to infer agent reliability under persistent adversarial behavior. By weighting evidence according to inferred agent reliability, BDA yields calibrated posterior probabilities over candidate answers while allowing persistently unreliable agents to be inverted rather than merely outvoted. Across binary and multi-class benchmarks, BDA achieves the best calibration among zero-cost council aggregation methods, requiring no additional LLM calls, and improves robustness under persistent adversarial coalitions while remaining competitive in clean settings.
- Abstract(参考訳): マルチLLM \emph{council} では、複数の大きな言語モデル(LLM)が質問を意図的に行い、自信のある見積とともに回答を返すことができる。
これらのシステムが推論にますます使われるようになるにつれて、信頼は正当であると判断された 'emph{probability of be correct} を表すべきであり、あるエージェントが持続的に信頼できない場合には、決定は堅牢であるべきである。
既存の 'emph{council aggregate} メソッドは、両方の面で失敗する: 信頼度推定は、正確性よりも決定性を測定する。
ベイズ弁証法(Bayesian Dialectical Argumentation, BDA)を導入し, 評議会の「emph{typed}」の動きを---------------------------------------------------------------------------------------------------- ------------------------------------------------------------------------------
この定式化は,複数エージェントの検証を信頼性推定問題として再キャストする。
推測されたエージェントの信頼性に応じて証拠を重み付けすることで、BDAは、単に排除されるのではなく、永続的に信頼性の低いエージェントを逆転させることが可能である。
バイナリとマルチクラスのベンチマークを通じて、BDAはゼロコストのカウンシルアグリゲーションメソッドの中で最高のキャリブレーションを達成し、追加のLLMコールを必要とせず、クリーンな設定で競争しながら、永続的な敵連合の下で堅牢性を向上させる。
関連論文リスト
- Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。
近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。
我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
論文 参考訳(メタデータ) (2026-09-28T10:47:41Z) - Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models [7.714704554667688]
大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。
LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。
判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
論文 参考訳(メタデータ) (2026-08-23T16:09:54Z) - DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning [2.867517731896504]
ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。
本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
論文 参考訳(メタデータ) (2026-08-21T03:48:25Z) - Multiagent Protocols with Aggregated Confidence Signals [7.128020779227392]
信頼は、自然言語処理(NLP)における信頼性、監視、および下流決定タスクに使用される。
以前の作業では、メッセージの重み付け、議論のトリガー、個々のエージェントの校正に、マルチエージェント討論(MAD)内での信頼性を使用していた。
まず、まず、生の信頼信号を変換してモデル間で比較し、ソフト投票や確率融合によって組み合わせることで、最終的な回答を生成する3つのプロトコルを紹介します。
論文 参考訳(メタデータ) (2026-06-11T17:12:11Z) - Exploring Agentic Tool-Calling Decisions via Uncertainty-Aligned Reinforcement Learning [63.24624171679711]
大規模言語モデル(LLM)ベースのエージェントは、しばしば最適なツール使用の決定を行う。
本研究では、不確実性分離を維持するための推進力として、不確実性定量化を報酬設計に組み込んだTRUSTを提案する。
論文 参考訳(メタデータ) (2026-06-05T07:08:34Z) - Trust but Verify: Prover-Verifier Deliberation for Selective LLM Prediction [4.273094752480624]
本稿では,対話的証明理論に基づく推論時間プロトコルであるPVDを導入する。
PVDは回答と構造化された信頼判定の両方を生成し、システムは不確実なケースを棄却しながら高信頼の回答を報告できる。
論文 参考訳(メタデータ) (2026-05-24T15:23:27Z) - Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。
推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。
10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文 参考訳(メタデータ) (2026-05-08T07:08:25Z) - Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。
モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。
我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
論文 参考訳(メタデータ) (2026-03-06T04:03:13Z) - DebUnc: Improving Large Language Model Agent Communication With Uncertainty Metrics [52.242449026151846]
大規模言語モデル(LLM)の精度向上のためのマルチエージェント論争が紹介されている。
エージェントの信頼性を評価するために不確実性指標を用いた議論フレームワークであるDebUncを提案する。
論文 参考訳(メタデータ) (2024-07-08T22:15:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。