論文の概要: When Agents Disagree: Bayesian Backward Reasoning as a Label-Free Anchor for Multi-Agent Collective Decision-Making
- arxiv url: http://arxiv.org/abs/2609.11709v1
- Date: Thu, 10 Sep 2026 15:27:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.418834
- Title: When Agents Disagree: Bayesian Backward Reasoning as a Label-Free Anchor for Multi-Agent Collective Decision-Making
- Title(参考訳): エージェントが診断する時:多エージェント集団意思決定のためのラベルフリーアンカーとしてのベイジアン後方推論
- Abstract要約: LLMの審査員、投票規則、選挙規則は、証拠をラベルに一方向にマッピングする前方推論に依存している。
我々は、明示的な可能性からベイズ的後進推論を通じて各インスタンスの逆後進を構築する。
異なる因数分解からの推定は、同じ誤差をあまり共有しない傾向があるので、ジェンセン=シャノンの発散を利用して、クロスパス整合性によってエージェントをランク付けする。
- 参考スコア(独自算出の注目度): 5.335515762403034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When multiple LLM agents yield conflicting answers, the decision-making process dictates whether agent diversity improves performance or merely compounds shared errors. Existing collective decision-making methods, including voting, electoral rules, and LLM judges, rely on forward reasoning: they map evidence to labels in one direction. Although these methods can combine diverse forward traces, they still aggregate estimates that share this evidence-to-label factorization and can inherit correlated errors within the forward pool. We therefore construct a reverse posterior for each instance through Bayesian backward reasoning from an explicit likelihood. The forward and reverse posteriors provide differently factorized approximations of the underlying posterior. Because estimates from different factorizations may tend to share the same error less often, we use Jensen-Shannon divergence to rank agents by cross-path consistency. This cross-path consistency signal underlies three strategies: hard selection (MinJS), soft reweighting (FwdJS), and log-linear fusion (LogLin). Evaluated on DDXPlus across five LLM backbones, our proposed strategies show consistent improvements: MinJS outperforms random selection across all backbones, FwdJS generally improves over the strongest baseline, and LogLin achieves the best performance among the evaluated methods, with its largest gains on the subset where the agents disagree. Despite its weaker standalone accuracy, the reverse posterior serves as a more useful anchor than forward-only alternatives, providing complementary information for collective decision-making. When labeled data are available, a lightweight two-stage calibration can further refine the reverse anchor and improve aggregation performance.
- Abstract(参考訳): 複数のLCMエージェントが矛盾する回答を得るとき、エージェントの多様性がパフォーマンスを改善するか、単に共有エラーを共有するかを決定する。
投票、選挙規則、LLM審査員を含む既存の意思決定手法は、証拠を1つの方向にラベルにマッピングする、前方推論に依存している。
これらの手法は様々なフォワードトレースを組み合わせることができるが、このエビデンスとラベルの因数分解を共有する推定値を集約し、フォワードプール内の相関誤差を継承することができる。
したがって、明示的な可能性からベイズ的後進推論を通じて各ケースの逆後進を構成する。
前後方と後後方は、下位後方の異なる因子化近似を与える。
異なる因数分解からの推定は、同じ誤差をあまり共有しない傾向があるので、ジェンセン=シャノンの発散を利用して、クロスパス整合性によってエージェントをランク付けする。
このクロスパス一貫性信号は、ハードセレクション(MinJS)、ソフトリヘアリング(FwdJS)、ログリニア融合(LogLin)の3つの戦略に基づいている。
MinJSはすべてのバックボーンでランダム選択を上回り、FwdJSは一般的に最強のベースラインを上回り、LogLinは評価されたメソッドの中で最高のパフォーマンスを達成し、エージェントが反対するサブセットで最大の利益を上げます。
スタンドアローンの精度は弱いが、後部後部は前方のみの代替よりも有用なアンカーとして機能し、総合的な意思決定に補完的な情報を提供する。
ラベル付きデータが利用できる場合、軽量な2段キャリブレーションにより、逆アンカーをさらに洗練し、アグリゲーション性能を向上させることができる。
関連論文リスト
- Beyond Single-Turn Confidence: Trajectory-Adapted Uncertainty Quantification for LLM Agents [0.0]
単ターンUQ手法の3つの共通ファミリーが対話的軌道設定に遷移するかどうかを検討する。
転送はしばしば有用であるが、不均一であることがわかった。 トークン確率スコアは、各ターンで使用されるアグリゲータの選択に非常に敏感である。
ブラックボックスの自己整合性はしばしば最強のUQファミリーであり、軌跡等価性とアクションセットの整合性は変種の中では最高である。
論文 参考訳(メタデータ) (2026-08-12T01:39:28Z) - Beyond the Reranker: Do RAG Retrieval Enhancements Help Once a Strong Reranker Is Present? [3.77661940418406]
クエリ拡張,階層的およびクロスドキュメント要約,グラフベースの拡張,クエリごとのルーティング,ランク融合,修正的再検索について検討した。
パイプラインの品質の大部分を、強力なクロスエンコーダリランカが占めていることを示す。
残りの再ランク法とプール拡張法は、階層的な要約、グラフ展開、ルーティング、ランク融合など、一般的な用途では、再ランカが存在すれば信頼できる利得は得られない。
論文 参考訳(メタデータ) (2026-06-14T20:50:41Z) - DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。
DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。
6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
論文 参考訳(メタデータ) (2026-05-17T07:14:44Z) - Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。
ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。
トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
論文 参考訳(メタデータ) (2026-02-26T11:08:39Z) - Diagnosing LLM Reranker Behavior Under Fixed Evidence Pools [0.17188280334580197]
ランク付け評価は、上流レトリバーが返却した候補者をリランカがどのように注文するかを調査する。
この設定は、ランキングの動作と検索品質を結合するので、出力の差はランキングのポリシーだけでは対応できない。
複数Newsクラスタを固定エビデンスプールとして使用することで再ランク付けを分離する制御診断手法を提案する。
論文 参考訳(メタデータ) (2026-02-20T21:07:32Z) - DiffuRank: Effective Document Reranking with Diffusion Language Models [71.16830004674513]
拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。
dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。
モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
論文 参考訳(メタデータ) (2026-02-13T02:18:14Z) - Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。
ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。
我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
論文 参考訳(メタデータ) (2026-01-29T21:26:50Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳(メタデータ) (2025-09-29T12:15:52Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳(メタデータ) (2025-08-05T17:55:24Z) - GRP: Goal-Reversed Prompting for Zero-Shot Evaluation with LLMs [14.906150451947443]
大きな言語モデル(LLMs)を使用して2つの回答を評価し比較する。
目的逆プロンプティング(GRP)手法を提案し、元のタスクをより良い解から悪い解を選択するようにシフトする。
論文 参考訳(メタデータ) (2025-03-08T09:44:24Z) - Inference Scaling for Bridging Retrieval and Augmented Generation [47.091086803980765]
大規模言語モデル(LLM)の出力を操る一般的なアプローチとして、検索拡張世代(RAG)が登場している。
このようなバイアスは、推論スケーリングから、検索されたコンテキストの置換順序からの推論呼び出しの集約まで緩和可能であることを示す。
ROUGE-L は MS MARCO で,EM は HotpotQA ベンチマークで 7 ポイント向上した。
論文 参考訳(メタデータ) (2024-12-14T05:06:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。