論文の概要: Managing Uncertainty in LLM-based Multi-Agent System Operation
- arxiv url: http://arxiv.org/abs/2602.23005v1
- Date: Thu, 26 Feb 2026 13:49:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-27 18:41:22.705143
- Title: Managing Uncertainty in LLM-based Multi-Agent System Operation
- Title(参考訳): LLMによるマルチエージェントシステム運用における不確実性管理
- Authors: Man Zhang, Tao Yue, Yihua He,
- Abstract要約: 安全クリティカルなマルチエージェントソフトウェアシステムのためのライフサイクルベースの不確実性管理フレームワークを提案する。
臨床共同で開発された実世界のLCMベースのマルチエージェント心エコーソフトウェアシステムを用いて,本フレームワークの有効性を実証する。
- 参考スコア(独自算出の注目度): 4.565220771764574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Applying LLM-based multi-agent software systems in safety-critical domains such as lifespan echocardiography introduces system-level risks that cannot be addressed by improving model accuracy alone. During system operation, beyond individual LLM behavior, uncertainty propagates through agent coordination, data pipelines, human-in-the-loop interaction, and runtime control logic. Yet existing work largely treats uncertainty at the model level rather than as a first-class software engineering concern. This paper approaches uncertainty from both system-level and runtime perspectives. We first differentiate epistemological and ontological uncertainties in the context of LLM-based multi-agent software system operation. Building on this foundation, we propose a lifecycle-based uncertainty management framework comprising four mechanisms: representation, identification, evolution, and adaptation. The uncertainty lifecycle governs how uncertainties emerge, transform, and are mitigated across architectural layers and execution phases, enabling structured runtime governance and controlled adaptation. We demonstrate the feasibility of the framework using a real-world LLM-based multi-agent echocardiographic software system developed in clinical collaboration, showing improved reliability and diagnosability in diagnostic reasoning. The proposed approach generalizes to other safety-critical LLM-based multi-agent software systems, supporting principled operational control and runtime assurance beyond model-centric methods.
- Abstract(参考訳): LLMベースのマルチエージェントソフトウェアシステムをライフスパン心エコー法のような安全クリティカル領域に適用すると、モデル精度の向上だけでは対処できないシステムレベルのリスクが生じる。
システム操作の間、個々のLCM動作を超えて、不確実性はエージェント調整、データパイプライン、ヒューマン・イン・ザ・ループ・インタラクション、実行時制御ロジックを通じて伝播する。
しかし、既存の作業は、第一級のソフトウェアエンジニアリングの関心事というよりも、モデルレベルでの不確実性を扱う。
本稿では,システムレベルとランタイムの両面からの不確実性にアプローチする。
まず,LLMに基づくマルチエージェント・ソフトウェア・オペレーションの文脈における認識的・存在論的不確かさを区別する。
この基盤を基盤として,表現,識別,進化,適応の4つのメカニズムからなるライフサイクルベースの不確実性管理フレームワークを提案する。
不確実性ライフサイクルは、アーキテクチャレイヤと実行フェーズ間で不確実性が出現し、変換され、緩和されるかを管理し、構造化されたランタイムガバナンスと制御された適応を可能にします。
臨床共同で開発された実世界のLCMベースのマルチエージェント心エコーソフトウェアシステムを用いて,診断的推論における信頼性と診断可能性の向上を実証した。
提案手法は他の安全クリティカルなLCMベースのマルチエージェントソフトウェアシステムに一般化し、モデル中心の手法を超えて、原則化された操作制御と実行時の保証をサポートする。
関連論文リスト
- Beyond Single-Agent Safety: A Taxonomy of Risks in LLM-to-LLM Interactions [0.0]
本稿では,大規模な言語モデルが相互に相互作用する環境に,人間-モデル相互作用用に設計された安全メカニズムがスケールしない理由について検討する。
モデルレベルの安全性からシステムレベルの安全性への概念的移行を提案し,ESRH(Emergent Systemic Risk Horizon)の枠組みを導入する。
i) LLMの相互作用における集団的リスクの理論的考察,(ii)マイクロ,メソ,マクロレベルの障害モードを接続する分類法,および(iii)マルチエージェントシステムに適応的監視を組み込むアーキテクチャであるInstitutionalAIの設計を提案する。
論文 参考訳(メタデータ) (2025-12-02T12:06:57Z) - SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。
実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。
回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
論文 参考訳(メタデータ) (2025-11-29T09:18:39Z) - Failure Modes in LLM Systems: A System-Level Taxonomy for Reliable AI Applications [0.0]
大規模言語モデル(LLM)は、意思決定支援ツール、自動化、AI対応ソフトウェアシステムに急速に統合されている。
本稿では,現実のLLMアプリケーションで発生する15の隠れ障害モードのシステムレベルでの分類について述べる。
論文 参考訳(メタデータ) (2025-11-25T05:19:23Z) - Fundamentals of Building Autonomous LLM Agents [64.39018305018904]
本稿では,大規模言語モデル(LLM)を用いたエージェントのアーキテクチャと実装手法について概説する。
この研究は、複雑なタスクを自動化し、人間の能力でパフォーマンスのギャップを埋めることのできる「アジェンティック」なLLMを開発するためのパターンを探求することを目的としている。
論文 参考訳(メタデータ) (2025-10-10T10:32:39Z) - A Comprehensive Survey on Benchmarks and Solutions in Software Engineering of LLM-Empowered Agentic System [56.40989626804489]
この調査は、Large Language Modelsを使ったソフトウェアエンジニアリングに関する、最初の総合的な分析を提供する。
本稿では,150以上の最近の論文をレビューし,(1)素早い,微調整,エージェントベースのパラダイムに分類した解法,(2)コード生成,翻訳,修復などのタスクを含むベンチマークという2つの重要な側面に沿った分類法を提案する。
論文 参考訳(メタデータ) (2025-10-10T06:56:50Z) - Risk Analysis Techniques for Governed LLM-based Multi-Agent Systems [0.0]
本稿では,マルチエージェントAIシステムにおけるリスク識別と分析の初期段階について述べる。
信頼性障害のカスケード,エージェント間コミュニケーション障害,モノカルチャー崩壊,適合性バイアス,心の欠陥理論,混合モチベーションダイナミクスの6つの重要な障害モードについて検討した。
論文 参考訳(メタデータ) (2025-08-06T06:06:57Z) - Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。
古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。
コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
論文 参考訳(メタデータ) (2025-07-21T10:52:14Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-27T14:47:52Z) - Lyapunov-Based Reinforcement Learning for Decentralized Multi-Agent
Control [3.3788926259119645]
分散マルチエージェント制御では、システムは未知あるいは非常に不確実なダイナミクスで複雑である。
深層強化学習(DRL)は、システムダイナミクスを知らずに、データからコントローラや政治を学ぶことを約束している。
既存のマルチエージェント強化学習(MARL)アルゴリズムは、マルチエージェントシステムの閉ループ安定性を保証することができない。
安定保証付き分散マルチエージェント制御のための新しいMARLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-20T06:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。