論文の概要: More Debate, Same Evidence: Structural Limits of Homogeneous Multi-Agent Groundedness
- arxiv url: http://arxiv.org/abs/2608.00243v1
- Date: Fri, 31 Jul 2026 19:40:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 15:15:06.198163
- Title: More Debate, Same Evidence: Structural Limits of Homogeneous Multi-Agent Groundedness
- Title（参考訳）: より深く、同じ証拠:均質なマルチエージェント基底性の構造限界
- Abstract要約: 6つの公的な事実検証ベンチマーク上で,同質な3エージェントパネルの評価を行った。
固定された単一エージェント参照に対して、システムレベルの精度差は、+8.5$から$4.4$パーセンテージポイントまで様々である。
- 参考スコア（独自算出の注目度）: 1.9036571490366498
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) judges are increasingly organized as multi-agent panels under the assumption that exchanging critiques improves judgment quality. We test this assumption for \emph{groundedness verification}, where a judge must determine whether a claim is supported by the supplied evidence. We evaluate a homogeneous three-agent panel on six public fact-verification and hallucination-detection benchmarks. Relative to a fixed single-agent reference, the panel's system-level accuracy difference ranges from $+8.5$ to $-4.4$ percentage points: two datasets show reliable gains, one shows a reliable loss, and three are statistically inconclusive. Because the reference and panel use different model variants, these differences characterize the complete systems rather than isolate a causal debate effect.
- Abstract（参考訳）: 大規模言語モデル(LLM)の審査員は、批判を交換することで判断品質が向上するという前提のもと、多エージェントパネルとしてますます組織化されている。
我々は、この仮定を \emph{groundedness validation} で検証し、そこでは、裁判官は、供給された証拠によって主張が支持されているかどうかを判断しなければならない。
6つの公的な事実検証と幻覚検出のベンチマークに基づいて,同質な3エージェントパネルの評価を行った。
固定された単一エージェント参照に対して、パネルのシステムレベルの精度差は、$+8.5$から$4.4$%ポイントの範囲である: 2つのデータセットは信頼性のあるゲインを示し、1つは信頼性のある損失を示し、3つは統計的に不確定である。
参照とパネルは異なるモデル変種を使用するため、これらの違いは因果的な議論効果を分離するのではなく、完全なシステムを特徴付ける。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Forged Peer Judgments Mislead Multimodal LLM Judge Panels: Source-Blind Anchoring and Panel-Consensus Verification [9.710464466895521]
独立した視覚的判断を求めることは、自己とピアフレーミングの両方の下で大きなアンカーリングギャップを生み出す。
本稿では,個別に収集した盲票に対する引用を相互にチェックするパネル合意検証を導入する。
論文 参考訳（メタデータ） (2026-08-08T04:55:45Z) - Diverse Evidence, Better Forecasts: Multi-Agent Deliberation Under Information Asymmetry [1.8983854039418835]
すべてのエージェントが同一の証拠を与えられると、議論は真の信念の修正ではなく、隠れ家へと崩壊する。
本稿では,関連性を考慮したエビデンス・ルーティング,合理性に基づく反復的熟考,信頼度重み付けを組み合わせた枠組みを提案する。
375のバイナリ予測質問のベンチマークであるPolyGymでは、InfoDelphiが最強のシングルエージェントとマルチエージェントベースラインを上回っている。
論文 参考訳（メタデータ） (2026-07-02T03:41:25Z) - PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
PerceptionRubricsはルーブリックベースの評価フレームワークである。
飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。
1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
論文 参考訳（メタデータ） (2026-06-26T17:59:15Z) - AgentFairBench: Do LLM Agents Discriminate When They Act? [2.3004655342211078]
AgentFairBenchは、LLMエージェントの動作における人口格差に対する、安価で再現可能なマルチドメインベンチマークである。
これは、雇用、貸与、医療トリアージという、規制対象の3つの領域にまたがっている。
NumPyのみのハーネスは、反ファクト的なフリップ率、平均絶対スコア差(MASD)、アクションレートの相違、ツール起動の相違を計算する。
論文 参考訳（メタデータ） (2026-06-15T13:50:26Z) - Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels [0.0]
LLM-as-a-judgeパネルは複数のモデルからの投票を集計する。
私たちは、その信頼性が独立投票の理想にどの程度劣るかを定量化します。
論文 参考訳（メタデータ） (2026-05-28T11:48:17Z) - LLMs Show No Signs Of Individuated Metacognition [0.023227405857540805]
20大言語モデルから二項信頼判断を分解する。
信頼性が異なる2つのモデルも性能が異なるかどうかを問う。
いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。
論文 参考訳（メタデータ） (2026-05-22T23:54:33Z) - Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。
現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。
MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
論文 参考訳（メタデータ） (2026-04-16T09:23:22Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。
C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか?
二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
論文 参考訳（メタデータ） (2026-03-05T13:36:47Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - All That Glisters Is Not Gold: A Benchmark for Reference-Free Counterfactual Financial Misinformation Detection [67.89888669159899]
RFC Benchは、現実的なニュースの下で財務的な誤情報に関する大規模な言語モデルを評価するためのベンチマークである。
このベンチマークでは、2つの補完的なタスクが定義されている。
論文 参考訳（メタデータ） (2026-01-07T18:18:28Z) - RoboView-Bias: Benchmarking Visual Bias in Embodied Agents for Robotic Manipulation [67.38036090822982]
ロボット操作における視覚バイアスの定量化を目的とした,最初のベンチマークであるRoboView-Biasを提案する。
我々は、個々の視覚的要因とその相互作用によって引き起こされるバイアスの堅牢な測定を可能にする2,127のタスクインスタンスを作成します。
本研究は,視覚バイアスの系統的解析が,安全で信頼性の高い汎用的なエンボディエージェントの開発に必須であることを示す。
論文 参考訳（メタデータ） (2025-09-26T13:53:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。