論文の概要: More Agents, More Reliable? System-Level Reliability of Multi-Agent LLMs under Operational-Profile Uncertainty
- arxiv url: http://arxiv.org/abs/2611.07140v1
- Date: Wed, 04 Nov 2026 21:08:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.453282
- Title: More Agents, More Reliable? System-Level Reliability of Multi-Agent LLMs under Operational-Profile Uncertainty
- Title(参考訳): より多くのエージェント, 信頼性? 運用プロセス不確実性下でのマルチエージェントLDMのシステムレベル信頼性
- Abstract要約: 大規模言語モデル(LLM)エージェントの協調によるソフトウェアの開発が増えている。
本稿では,マルチエージェントシステムに対するシステム障害論理のベイズネットワークと組み合わせたフレームワークを提案する。
- 参考スコア(独自算出の注目度): 5.074812070492739
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Teams increasingly build software from cooperating large language model (LLM) agents, often assuming more agents mean more reliability. Yet the usual evidence, average benchmark accuracy, ignores the input mix a deployed system meets and the rule merging the agents' answers. Building on HIP-LLM, a hierarchical imprecise-probability assessment of single LLMs, we propose a framework combining it with a Bayesian network of the system's failure logic for multi-agent systems. Agent failure-probability intervals propagate through this network, where the combining rule can itself fail, into a reliability envelope showing which evidence limits it. In a pipeline extracting regulated chemical-hazard statements, majority voting over three models protected against the weakest but did not clearly exceed the best, and a voter failing on 5\% of demands would largely erase its advantage over the middle model. More agents yield a more defensible reliability claim, not automatically a more reliable system.
- Abstract(参考訳): 大規模言語モデル(LLM)エージェントとの協調からソフトウェアを構築するチームが増えている。
しかし、通常のエビデンス、平均ベンチマーク精度は、デプロイされたシステムが満たす入力ミックスとエージェントの回答をマージするルールを無視します。
単一LLMの階層的不整合確率評価であるHIP-LLMを基盤として,マルチエージェントシステムにおけるシステム障害論理のベイズ的ネットワークと組み合わせたフレームワークを提案する。
エージェントの障害確率間隔は、結合ルール自体が失敗する可能性があるこのネットワークを通して伝播し、それを制限している証拠を示す信頼性エンベロープとなる。
規制された化学ハザードステートメントを抽出するパイプラインでは、最も弱いモデルに対して保護された3つのモデルに対する過半数の投票は、明らかにベストを超えなかった。
より多くのエージェントは、自動的により信頼性の高いシステムではなく、より防御可能な信頼性のクレームをもたらす。
関連論文リスト
- Multi-Agent Relay Thinking [71.57818799232307]
マルチエージェント信頼誘導リレー(MACR)
我々はエージェント間の動的リレー協調を可能にするフレームワークであるMulti-Agent Confidence-Guided Relay(MACR)を紹介する。
論文 参考訳(メタデータ) (2026-10-26T11:10:10Z) - Sequential Probabilistic Uncertainty Estimation for Parallel Multi-Agent Reasoning Systems [33.91812151333267]
この研究は並列マルチエージェント推論システムに焦点をあて、複数のエージェントが複数のラウンドで同じ問題を解き、最終的な答えに出力を集約する。
我々は,MASの不確かさを潜在システムレベルの信念に対する逐次推論として定式化する,軽量でトレーニング不要な不確実性推定器であるSAUCEを提案する。
5つのバックボーン、5つのベンチマーク、2つのMASプロトコルにまたがって、SAUCEは幅広い不確実性推定ベースラインに対する誤分類検出、選択的予測、校正を改善している。
論文 参考訳(メタデータ) (2026-10-06T17:58:43Z) - PropUQ-MAS: Propagation-Aware Uncertainty Quantification for LLM Multi-Agent Systems [8.348628811300268]
PropUQ-MASはマルチエージェントシステムのためのエラー伝搬対応UQフレームワークである。
上流メッセージから受け継いだローカル不確実性と不確実性を組み合わせることで、各ステップの信頼性を推定する。
PropUQ-MASはMASのUQを継続的に改善し、平均相対利得はAUROCで+6.10%、PRRで+47.58%である。
論文 参考訳(メタデータ) (2026-08-22T23:07:39Z) - POIROT: Interrogating Agents for Failure Detection in Multi-Agent Systems [0.07783271875179179]
システム独自のエージェントを診断層として再利用するプロトコルであるPOIROTを提案する。
評価された設定全体で、POIROTは単一LLMベースライン評価器より優れている。
我々は,安全クリティカルなマルチエージェントシステムにおけるフォールト属性のベンチマークであるBLAMEとともに,オープンソースのライブラリとしてPOIROTをリリースした。
論文 参考訳(メタデータ) (2026-06-01T14:05:35Z) - EMS: Multi-Agent Voting via Efficient Majority-then-Stopping [62.95000188335248]
推論効率を向上させるために,EMS(Efficient Majority-then-Stopping)を提案する。
EMSはタスク認識の信頼性に基づいてエージェントを優先順位付けし、大多数が達成された時点で推論パイプラインを終了する。
EMSは、呼び出しされたエージェントの平均数を32%減少させる。
論文 参考訳(メタデータ) (2026-04-03T08:29:50Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18~28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30~60%を検証または否定する。
論文 参考訳(メタデータ) (2025-12-07T09:23:48Z) - AgentAsk: Multi-Agent Systems Need to Ask [26.13279490836716]
大規模言語モデル(LLM)上に構築されたマルチエージェントシステムは、協調的な分業による問題解決能力の向上を約束する。
我々はAgentAskを提案する。AgentAskは軽量でプラグ・アンド・プレイの明確化モジュールで、すべてのエージェント間メッセージを潜在的な障害点として扱い、エラーの伝播を抑えるのに必要最小限の質問を挿入する。
AgentAskは、公開マルチエージェント実装の精度と堅牢性を継続的に改善し、オーバーヘッドを最小限に抑え、レイテンシと余分なコストを5%以下に抑える。
論文 参考訳(メタデータ) (2025-10-08T22:36:05Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳(メタデータ) (2024-08-02T03:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。