論文の概要: Right Answers, Wrong States: Hidden Information Failures in Multi-Agent Collaboration
- arxiv url: http://arxiv.org/abs/2610.01244v1
- Date: Thu, 01 Oct 2026 07:42:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.97273
- Title: Right Answers, Wrong States: Hidden Information Failures in Multi-Agent Collaboration
- Title(参考訳): 右の答え:マルチエージェントコラボレーションにおける隠れた情報障害
- Abstract要約: 共同作業は、即時決定が正しい場合でも、腐敗した情報状態に置き去りにすることができる。
GPT、Gemini、Qwenモデル全体では、標準的なコラボレーションは、状態の信頼性よりもはるかに強力なタスクパフォーマンスを示している。
我々は、矛盾する証拠を解決し、共有された事実を検証し、信頼された国家を再構築するReGroundを紹介します。
- 参考スコア(独自算出の注目度): 69.14904049421806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent systems are often judged by whether they reach the correct answer. This can miss a distinct failure: collaboration may leave behind a corrupted information state even when the immediate decision is correct. We call this an off-query failure. To study this failure in collaborative decision support, we introduce OffQuery, which separately evaluates evidence verification (T1), shared-state reconstruction (T2), and task resolution (T3) in two representative high-stakes settings: healthcare and disaster response. Across GPT, Gemini, and Qwen models, standard collaboration shows much stronger task performance than state reliability. Averaged over 21 model--setting combinations, task resolution reaches 64.7%, while evidence verification and state reconstruction reach only 14.3% and 43.1%. We trace this gap to selective information use: current queries often bypass corrupted facts, which become consequential when later tasks require them. We further introduce ReGround, which resolves conflicting evidence, verifies shared facts, reconstructs a trusted state, and reasons over that state. Across seven models from three families, ReGround improves all three capabilities in every evaluated setting, with average relative gains of 309.0%, 82.9%, and 17.6% on T1, T2, and T3. Reliable collaboration therefore requires both a correct decision and a reliable shared state for future reasoning.
- Abstract(参考訳): マルチエージェントシステムは、正しい答えに達するかどうかによって判断されることが多い。
直接的な決定が正しい場合でも、コラボレーションは腐敗した情報状態を残します。
私たちはこれを不正な失敗と呼びます。
協調的な意思決定支援におけるこの失敗を研究するために、OffQueryを導入し、医療と災害対応の2つの主要なハイテイク環境でエビデンス検証(T1)、共有状態再構築(T2)、タスク解決(T3)を別々に評価する。
GPT、Gemini、Qwenモデル全体では、標準的なコラボレーションは、状態の信頼性よりもはるかに強力なタスクパフォーマンスを示している。
平均21以上のモデルセットの組み合わせで、タスク解決率は64.7%に達し、証拠検証と州再建は14.3%と43.1%に留まった。
現在のクエリは、しばしば腐敗した事実をバイパスします。
さらに、矛盾する証拠を解決し、共有された事実を検証し、信頼できる国家を再構築するReGroundを紹介します。
3つのファミリーの7つのモデル全体で、ReGroundは評価された設定ごとに3つの機能をすべて改善し、平均相対利得は309.0%、82.9%、T1、T2、T3では17.6%である。
そのため、信頼性の高いコラボレーションには、正しい意思決定と、将来の推論のための信頼できる共有状態の両方が必要です。
関連論文リスト
- Failure-Transparent Agents: Benchmarking Post-Failure Reporting in Tool-Using Language Models [0.21987601456703476]
本稿では,フェール・トランスペアレント・エージェント(FTA)について紹介する。
FTAには5つの障害ファミリにまたがる決定論的障害トレース、中立的なコントロール、4つのユーザプレッシャ条件を備えた100のタスクが含まれている。
6つのモデルで、偽失率は基本方針下で22.8%、透明な命令で9.3%、構造化された証拠契約で0.8%である。
論文 参考訳(メタデータ) (2026-09-28T17:51:41Z) - FIRE: Failure-Informed Runtime Engineering for Reliable Language-Model Agents [0.0]
政策誘導型テラは71.4%、非支援型ソルは64.3%、約半分である。
政策誘導型テラは71.4%、非支援型ソルは64.3%、約半分である。
論文 参考訳(メタデータ) (2026-09-22T11:50:35Z) - Engineering Reliable Commit Gates for Agentic AI: Cost-Aware Verification Portfolios under Common-Mode Data Failures [4.287745257410248]
コスト対応コミットゲートのランタイム保証ベンチマークを提案する。
48のタスクテンプレートは、6つの障害レジームで2,880のシナリオを生成する。
結果は明確なエビデンスライン、コストアウェアの選択、コミットタイムの実施を動機付けます。
論文 参考訳(メタデータ) (2026-09-10T01:42:40Z) - Knowing When to Ask: Self-Gated Clarification for Hierarchical Language Agents [4.309840398782996]
階層的推論では、失敗はエージェントが間違ったブランチにコミットする中間的な決定ポイントから生じることが多い。
本稿では,エージェントの行動空間内での明確化をナビゲーションと共有順序尺度で表す定式化であるACTION-Ratingを提案する。
エージェント自身の評価から2つの構造的に異なる情報探索モードが出現する:強制的(実行可能分岐なし)と機会的(主要な候補であるにもかかわらず残留不確実性)。
論文 参考訳(メタデータ) (2026-06-09T18:25:57Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳(メタデータ) (2026-05-11T00:04:19Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳(メタデータ) (2026-04-07T17:43:18Z) - Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。
実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。
RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
論文 参考訳(メタデータ) (2025-04-17T16:46:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。