論文の概要: Where Is the Truth When AI Agents Disagree? Dependence-Aware Belief Propagation for Unsupervised Truth Discovery (Extended Version)
- arxiv url: http://arxiv.org/abs/2611.04805v1
- Date: Tue, 03 Nov 2026 12:40:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 13:21:10.847759
- Title: Where Is the Truth When AI Agents Disagree? Dependence-Aware Belief Propagation for Unsupervised Truth Discovery (Extended Version)
- Title（参考訳）: AIエージェントが診断する真理はどこにあるのか? 教師なし真理発見のための依存性を意識した信念の伝播(拡張版)
- Abstract要約: LLMエージェントの真正解と各エージェントの信頼性をラベルなしで推定し,真正解を求める。
本稿では, BP-TDを提案する。これは, 平均場変動推定に, エージェントごとのデコリレーション重みを付加するものである。
MMLUに13人のローカルエージェントがいるため、BP-TDは160の質問に対して0.716対0.624対0.674対10,000)ラベルなしで多数票を獲得し、エージェントを真の精度でランク付けし、古典的な推定者は逆転する。
- 参考スコア（独自算出の注目度）: 0.261072980439312
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents often give conflicting answers to the same question, and many deployed agents are variants of one base model, so their errors are correlated. We study truth discovery among such agents: inferring the true answer and each agent's reliability without labels. Classical truth-discovery and crowdsourcing estimators reward an agreeing bloc and can fall below majority vote. We propose BP-TD, which adds per-agent decorrelation weights to mean-field variational inference on a one-coin Dawid-Skene model, so that agents sharing a base model count together as about one vote. Its first iteration is exactly a weighted vote; later iterations estimate agent reliability. With 13 local agents on MMLU, BP-TD beats majority vote without any labels (0.716 vs. 0.624 on 160 questions; 0.707 vs. 0.674 on 10,000) and ranks agents by their true accuracy, which classical estimators invert. The gain depends on the pool: over 2,852 sub-pools of four benchmarks, decorrelation helps when the largest correlated bloc is weaker than the other agents and hurts when it is the strongest, and we found no label-free statistic that tells the two cases apart. Labels change the picture quickly: with 20 labelled questions, selecting the single best agent is more accurate than every aggregator we tested on MMLU, ARC and TruthfulQA.
- Abstract（参考訳）: LLMエージェントは同じ質問に対して矛盾する答えを与えることが多く、多くのデプロイエージェントは1つのベースモデルの変種であるため、それらのエラーは相関する。
これらのエージェント間の真理発見について研究し、真理応答と各エージェントの信頼性をラベルなしで推測する。
古典的な真実発見とクラウドソーシングの予測は、賛成票を勝ち取り、過半数を下回る可能性がある。
BP-TDは,1つの係数を持つダウィド・スケインモデルの平均場変動推定に,エージェントがベースモデルを共有することを約1票で表す。
最初のイテレーションはまさに重み付けされた投票であり、後のイテレーションではエージェントの信頼性が見積もられている。
13人のローカルエージェントがMMLUに登録されており、BP-TDは160の質問に対して0.716対0.624対0.674対10,000)のラベルなしで多数票を獲得し、エージェントを真の精度でランク付けし、古典的な推定者は逆転する。
4つのベンチマークの2,852以上のサブプールにおいて、デコリレーションは最大の相関ブロックが他のエージェントよりも弱い場合に有効であり、最も強いときを傷つける。
20のラベル付き質問で、MMLU、ARC、TruthfulQAでテストしたすべてのアグリゲータよりも、最高のエージェントを選択する方が正確です。
関連論文リスト
- Believed but Not Said: Measuring Hidden Belief Collapse in Multi-Agent LLM Discussions [39.68876860096913]
LLMシステムはますます、互いに議論し、批判し、チェックするエージェントのグループに依存している。
我々はこの仮定を最小の敵に対して検証する。
3つの敵エージェントが存在すると、良性エージェントは51.6%の露出したターンで偽の答えを保持するが、公に支持するのは19.7%に過ぎなかった。
論文 参考訳（メタデータ） (2026-10-15T16:12:07Z) - Bias Control and Injection for Multi-Agent Aggregation [20.336299697023954]
大規模言語モデル(LLM)を用いたマルチエージェント推論は、集合的意思決定において中心的な疑問を提起する。
私たちの分析は、バイアスを緩和し、悪用する方法を示しています。
検証データも,相対モデル強度の事前知識も必要としないテスト時集約フレームワークを導入する。
論文 参考訳（メタデータ） (2026-10-15T05:37:49Z) - Diverse Evidence, Better Forecasts: Multi-Agent Deliberation Under Information Asymmetry [1.8983854039418835]
すべてのエージェントが同一の証拠を与えられると、議論は真の信念の修正ではなく、隠れ家へと崩壊する。
本稿では,関連性を考慮したエビデンス・ルーティング,合理性に基づく反復的熟考,信頼度重み付けを組み合わせた枠組みを提案する。
375のバイナリ予測質問のベンチマークであるPolyGymでは、InfoDelphiが最強のシングルエージェントとマルチエージェントベースラインを上回っている。
論文 参考訳（メタデータ） (2026-07-02T03:41:25Z) - AgentFairBench: Do LLM Agents Discriminate When They Act? [2.3004655342211078]
AgentFairBenchは、LLMエージェントの動作における人口格差に対する、安価で再現可能なマルチドメインベンチマークである。
これは、雇用、貸与、医療トリアージという、規制対象の3つの領域にまたがっている。
NumPyのみのハーネスは、反ファクト的なフリップ率、平均絶対スコア差(MASD)、アクションレートの相違、ツール起動の相違を計算する。
論文 参考訳（メタデータ） (2026-06-15T13:50:26Z) - AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility [104.46861849039357]
エージェントシステムはドメイン間で急速に進歩しているが、その評価は断片化されている。
根本的問題は、オープンでエージェントに依存しないアセスメントインタフェースがないことである。
我々は、審査員が評価を行い、すべての参加者が標準化されたプロトコルを介して対話するエージェントエージェントアセスメント(AAA)を提唱する。
論文 参考訳（メタデータ） (2026-06-11T17:23:54Z) - Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution [0.0]
予測市場は、不確実な出来事を予測するために集合的なインテリジェンスを集約する。
既存のオラクルシステムは、高速だが不安定な自動化と、正確だがコストのかかる人間の仲裁とをトレードオフする。
マルチエージェントLLMアーキテクチャが単一モデルベースラインよりもオラクル分解能を向上できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-05-29T03:44:19Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳（メタデータ） (2023-10-18T11:36:42Z) - Pure Exploration under Mediators' Feedback [63.56002444692792]
マルチアームバンディット(Multi-armed bandits)は、各インタラクションステップにおいて、学習者が腕を選択し、報酬を観察する、シーケンシャルな意思決定フレームワークである。
本稿では,学習者が仲介者の集合にアクセスできるシナリオについて考察する。
本稿では,学習者には仲介者の方針が知られていると仮定して,最適な腕を発見するための逐次的意思決定戦略を提案する。
論文 参考訳（メタデータ） (2023-08-29T18:18:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。