論文の概要: Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems
- arxiv url: http://arxiv.org/abs/2609.22712v1
- Date: Sat, 19 Sep 2026 02:47:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.89482
- Title: Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems
- Title（参考訳）: 信頼できるエージェントAI: 障害モード、緩和戦略、自律LLMシステムのためのライフサイクルフレームワーク
- Abstract要約: 大きな言語モデル上に構築されたエージェントAIシステムは、複数のステップを計画し、外部ツールを使用し、メモリに情報を保持し、他のエージェントと調整することができる。
これらの機能は静的言語モデルよりも有用であるが、新たなセキュリティと運用上のリスクも導入している。
この記事では、5つの相互接続された次元にわたるエージェントAIの信頼性についてレビューする。
- 参考スコア（独自算出の注目度）: 4.134513558120981
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic AI systems built on large language models can plan over multiple steps, use external tools, retain information in memory, and coordinate with other agents. These capabilities make them more useful than static language models, but they also introduce new security and operational risks. Untrusted content from websites, emails, documents, and databases can enter the same context as system instructions; persistent memory can carry compromised information across sessions; and access to external tools can turn an incorrect model response into a consequential real-world action. This article reviews the trustworthiness of agentic AI across five interconnected dimensions: safety and robustness, alignment and human oversight, transparency and auditability, privacy and data governance, and regulatory compliance. It organizes key failure modes, including indirect prompt injection, backdoor triggers, goal misgeneralization, memory contamination, and cross-session data leakage, into a unified taxonomy. It also examines major mitigation approaches, such as instruction hierarchies, context isolation, spotlighting, process-based supervision, constrained tool use, and privacy-preserving memory, while distinguishing techniques supported by empirical evidence from those that remain largely conceptual. Building on this analysis, we introduce the Trustworthy Agent Development Lifecycle (TADL), a six-phase framework covering specification, design, training, evaluation, deployment, and monitoring. For each phase, TADL identifies relevant trust activities, expected evidence, and risk-based decision gates. Although TADL has not yet been empirically validated, it provides a structured foundation for developing and evaluating more secure and accountable agentic systems. The article concludes by identifying gaps in current benchmarks and outlining priorities for future research.
- Abstract（参考訳）: 大きな言語モデル上に構築されたエージェントAIシステムは、複数のステップを計画し、外部ツールを使用し、メモリに情報を保持し、他のエージェントと調整することができる。
これらの機能は静的言語モデルよりも有用であるが、新たなセキュリティと運用上のリスクも導入している。
ウェブサイト、メール、ドキュメント、データベースからの信頼できないコンテンツは、システム命令と同じコンテキストに入力でき、永続メモリはセッション間で妥協した情報を運ぶことができ、外部ツールへのアクセスは、誤ったモデル応答を連続した現実世界のアクションに変換することができる。
この記事では、安全と堅牢性、アライメントと人間の監督、透明性と監査性、プライバシとデータガバナンス、規制コンプライアンスの5つの分野にわたるエージェントAIの信頼性についてレビューする。
間接的なプロンプトインジェクション、バックドアトリガー、ゴールの誤一般化、メモリ汚染、クロスセッションデータ漏洩など、重要な障害モードを統一された分類に編成する。
また、命令階層、コンテキスト分離、スポットライト、プロセスベースの監視、制約されたツールの使用、プライバシ保護メモリといった主要な緩和アプローチについても検討し、実証的な証拠によって支持されるテクニックと、大部分は概念的のままであるものを区別した。
この分析に基づいて,仕様,設計,トレーニング,評価,デプロイメント,監視を対象とする6段階のフレームワークであるTrustworthy Agent Development Lifecycle (TADL)を紹介した。
各段階において、TADLは関連する信頼活動、期待された証拠、リスクベースの決定ゲートを特定する。
TADLはまだ実験的に検証されていないが、より安全で説明可能なエージェントシステムの開発と評価のための構造化された基盤を提供する。
この記事は、現在のベンチマークのギャップを特定し、将来の研究の優先順位を概説することで締めくくっている。
関連論文リスト
- Trustworthy Agentic AI: A Comprehensive Cybersecurity and Systems Survey on Threat Landscapes, Defense Architectures, and Open Challenges [0.0]
この調査は、信頼できるエージェントAIのための総合的なシステムセキュリティリファレンスフレームワークを提供する。
汎用エージェントアーキテクチャをステートフルな5タプルとして形式化し,セキュリティ,安全性,プライバシ,説明可能性,公正性,説明責任を網羅した6次元信頼性分類を確立した。
論文 参考訳（メタデータ） (2026-09-12T05:51:27Z) - Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳（メタデータ） (2026-07-28T17:50:44Z) - A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems [6.572000338549628]
本稿では,ライフサイクルとアプリケーションスタックレンズを用いて,大規模言語モデルシステムの脆弱性に関する文献を体系化する。
我々は攻撃能力、影響のあるセキュリティ目標、代表的攻撃、実践的リスク、評価プラクティス、防衛を解析する。
我々は,LLMシステムのセキュア化に関する研究課題に近づき,構成セキュリティ,実績認識検索,ツールコール封じ込め,長期エージェント評価,プライバシ保護適応,リアルなレッドチーム化,デプロイメントグレードのインシデント対応などについて述べる。
論文 参考訳（メタデータ） (2026-06-30T13:21:43Z) - From Knowing to Acting: Benchmarking Self-Awareness Capability of LLM Agents [69.07911499189129]
エージェントのメタ認知判断(Knowing)を自発的実行(Acting)から切り離して認知行動アライメントを評価するフレームワークであるKAPROを紹介する。
実験の結果,自己認識能力はタスク成功と強く相関するが,内部能力設定では著しく低下することがわかった。
プロプライエタリで推論指向のモデルは、より信頼性の高い認知ゲーティングを示します。
論文 参考訳（メタデータ） (2026-06-09T17:17:08Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - Securing Computer-Use Agents: A Unified Architecture-Lifecycle Framework for Deployment-Grounded Reliability [21.333731425525205]
この記事では、CUAのデプロイメント基盤信頼性のためのアーキテクチャライフサイクルフレームワークを開発する。
この分析は、代表システム、ベンチマーク、およびセキュリティ/プライバシー研究を合成する。
論文 参考訳（メタデータ） (2026-05-08T01:38:46Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳（メタデータ） (2026-01-12T21:31:38Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T05:01:09Z) - Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。
敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。
GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
論文 参考訳（メタデータ） (2025-03-30T13:26:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。