論文の概要: Beyond Perfect Teammates: Multi-Agent Collaboration with Unreliable Colleagues
- arxiv url: http://arxiv.org/abs/2610.16117v2
- Date: Wed, 14 Oct 2026 06:05:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.297631
- Title: Beyond Perfect Teammates: Multi-Agent Collaboration with Unreliable Colleagues
- Title（参考訳）: 完璧なチームメイトを超えて - 信頼できないコリーグとのマルチエージェントコラボレーション
- Abstract要約: 我々は,信頼できない証拠収集プロセスの回復能力からタスク解決能力の分離を図るために,UncoBench(Unreliable Colleagues Benchmark)を導入する。
10モデルにわたる結果は、同様の信頼性の高い設定性能が、信頼性の低い証拠と異なるロバスト性をもたらすことを示している。
- 参考スコア（独自算出の注目度）: 41.90964421829607
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-based multi-agent collaboration is increasingly used to solve complex tasks by dividing work among specialized agents and integrating complementary expertise. Yet existing systems and evaluations largely rest on an implicit perfect-colleague assumption: collaborators provide correct and complete information and respond promptly to requests. In realistic teamwork, however, collaborators may return information that does not answer the intended question, provide insufficient detail to support a decision, or fail to respond to a request. To separate task-solving competence from the ability to recover an unreliable evidence-gathering process, we introduce the Unreliable Colleagues Benchmark (UnCoBench), which organizes behavioral failures through Misaligned, Incomplete, and Missed settings. The main agent need to verify contextual correctness, diagnose information gap and track unresolved dependencies in order to obtain the correct evidence for solving the task. We also introduce a verifiable and scalable automated generation pipeline that pairs LLM-based scenario generation with executable checks of answer uniqueness and role necessity. Results across ten models show that similar reliable-setting performance can result in different robustness to unreliable evidence. Trace analysis reveals frequent omissions of corrective follow-up, and the recovery behavior involves inefficient waiting and redundant queries. These findings show that robust collaboration requires not only sound reasoning, but also targeted action to diagnose evidence failures, recover relevant information, and integrate it into decisions. Our data and source code are available at https://github.com/iNLP-Lab/UnCoBench.
- Abstract（参考訳）: LLMベースのマルチエージェントコラボレーションは、専門エージェント間で仕事を分割し、補完的な専門知識を統合することで、複雑なタスクの解決にますます利用されている。
しかし、既存のシステムと評価は、暗黙の完璧な前提に大きく依存している: 協力者は正しい完全な情報を提供し、要求に迅速に応答する。
しかし、現実的なチームワークでは、協力者は意図した質問に答えない情報を返したり、決定を支持するのに不十分な詳細を提供したり、要求に反応しなかったりすることができる。
信頼性の低いエビデンス収集プロセスからタスク解決能力を分離するために,ミスアライメント,不完全,ミスド設定による行動障害を整理するUnCoBench(Unreliable Colleagues Benchmark)を導入する。
主エージェントは、タスクを解くための正しい証拠を得るために、文脈的正当性を検証し、情報のギャップを診断し、未解決の依存関係を追跡する必要がある。
また,LCMをベースとしたシナリオ生成と,回答の独特性と役割の必要性の検証が可能な,検証可能なスケーラブルな自動生成パイプラインも導入する。
10モデルにわたる結果は、同様の信頼性の高い設定性能が、信頼性の低い証拠と異なるロバスト性をもたらすことを示している。
トレース分析では、修正フォローアップの欠落が頻発し、リカバリ動作には非効率な待ち時間と冗長なクエリが伴う。
これらの結果は、ロバストなコラボレーションには健全な推論だけでなく、証拠の失敗を診断し、関連する情報を回収し、決定に組み込む目的の行動も必要であることを示している。
私たちのデータとソースコードはhttps://github.com/iNLP-Lab/UnCoBench.comで公開されています。
関連論文リスト
- BLADE: Auditing Information Use for Failure Attribution in LLM Multi-Agent Systems [26.15659003461134]
失敗の帰属は、責任のあるエージェントと決定的なエラーステップを特定しようとする。
最近の手法は依存関係をトレースするが、情報がどこから来たかを知ることは、それがどこでうまくいかなかったかを知るのと同じではない。
BLADEは、情報のトレースを超えて、その使用を監査する、トレーニング不要のフレームワークである。
論文 参考訳（メタデータ） (2026-10-13T17:34:34Z) - Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards [60.95806999869478]
本稿では,CoSIR(CoSIR:Collaboration via Surprisal-based Information Rewards)を紹介する。
本稿では,適切な選択肢に割り当てられた負のログ確率の和として定義されたチーム・サプライサルの削減によって共有情報をスコアするベイズ評価器を提案する。
学習後,Qwen3-4B,Qwen3-8B,Gemma-3-4B-itを自己再生し,未知の7つの自然言語協調タスクへの移動を評価する。
論文 参考訳（メタデータ） (2026-10-13T07:46:48Z) - Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。
ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。
5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
論文 参考訳（メタデータ） (2026-05-27T03:47:35Z) - Learning the Boundary of Solvability: Aligning LLMs to Detect Unsolvable Problems [51.62477754641947]
本研究では,実現可能な問題を解き,固有の矛盾を検知し,能力を超えたタスクを慎重に拒否するUnsolvableQAとUnsolvableRLを提案する。
具体的には、双トラック手法を用いて導出される、ペアで解決可能かつ解決不可能なインスタンスのデータセットであるUnsolvableQAを構築する。
このデータセット上に構築されたUnsolvableRLは,精度,未解決性,難易度を考慮した3つの報酬成分を備えた強化学習フレームワークである。
論文 参考訳（メタデータ） (2025-12-01T13:32:59Z) - BMGQ: A Bottom-up Method for Generating Complex Multi-hop Reasoning Questions from Semi-structured Data [8.52473384574856]
本稿では,半構造化知識ソースから高難易度,訓練可能なマルチホップ質問を自動生成するフレームワークを提案する。
このシステムは、自然言語推論(NLI)に基づく関係型付けと多様性を意識した拡張を通じて、多様な、論理的にラベル付けされたエビデンスクラスタを成長させる。
論文 参考訳（メタデータ） (2025-10-28T07:43:15Z) - Leveraging Knowledge Graphs and LLM Reasoning to Identify Operational Bottlenecks for Warehouse Planning Assistance [1.2749527861829046]
我々のフレームワークは知識グラフ(KG)とLarge Language Model(LLM)ベースのエージェントを統合している。
生のDESデータを意味的にリッチなKGに変換し、シミュレーションイベントとエンティティの関係をキャプチャする。
LLMベースのエージェントは反復推論を使用し、相互依存的なサブクエストを生成する。各サブクエストに対して、KGインタラクションのためのCypherクエリを生成し、情報を抽出し、エラーを修正する。
論文 参考訳（メタデータ） (2025-07-23T07:18:55Z) - Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。
実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。
RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
論文 参考訳（メタデータ） (2025-04-17T16:46:11Z) - Towards Collaborative Question Answering: A Preliminary Study [63.91687114660126]
我々は、モデレーターによって調整された複数の専門家エージェントが協力して、単一のエージェントだけでは答えられない質問に答える新しいQAタスクCollabQAを提案する。
専門家に分散可能な,大規模な知識グラフの合成データセットを作成する。
専門家が完璧で均一でない限り,コラボレーション構造を導入することなく,この問題が解決可能であることを示す。
論文 参考訳（メタデータ） (2022-01-24T14:27:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。