論文の概要: Securing Agentic AI: From Per-Action Checks to Trajectory Assurance
- arxiv url: http://arxiv.org/abs/2608.01558v1
- Date: Mon, 03 Aug 2026 00:28:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.284623
- Title: Securing Agentic AI: From Per-Action Checks to Trajectory Assurance
- Title（参考訳）: エージェントAIのセキュア化 - アクションごとのチェックから軌道保証まで
- Abstract要約: 大規模言語モデル(LLM)ベースのエージェントがより自律的になるにつれて、単一のチャレンジからエージェントスタック全体にまたがる、広く相互接続されたランドスケープへと、それらを保護する。
おそらく最も根本的な課題は行動の封じ込めである:個々の許容される行動のシーケンスは、システムレベルの制約と安全性の不変性に総括的に違反する可能性がある。
より広いレベルでは、サプライチェーンの整合性、証明性、説明可能性、エンドツーエンドの可観測性はほぼオープンな問題のままです。
- 参考スコア（独自算出の注目度）: 8.523545468742919
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous agents are increasingly used to execute consequential tasks in environments governed by operational constraints, organizational policies, regulatory requirements, and technical standards. Their safety is therefore determined not by the correctness of individual actions, but by whether their overall behavior remains consistent with the rules and invariants of the systems in which they operate. As large language model (LLM)-based agents become more autonomous and increasingly delegate tasks across organizational boundaries, securing them evolves from a single challenge into a broad and interconnected landscape spanning the entire agentic stack. At the single-agent level, untrusted inputs through prompts, memory, retrieved knowledge, and tool interfaces create attack surfaces. In multi-agent settings, delegation and communication introduce challenges related to identity, trust, capability control, and decision transparency, while the underlying model routing and execution control plane remains vulnerable to manipulation and to unverified model provenance. Perhaps the most fundamental challenge is behavioral containment: sequences of individually permissible actions may collectively violate system-level constraints and safety invariants. At the broader level, supply-chain integrity, provenance, accountability, and end-to-end observability remain largely open problems. A common principle unifies these directions: security must become a verifiable property of the architectures, protocols, and runtimes that govern agent behavior, rather than an optional layer of guidance. Charting these challenges provides a roadmap toward trustworthy autonomous agent deployment.
- Abstract（参考訳）: 自律的なエージェントは、運用上の制約、組織ポリシー、規制要件、技術標準によって管理される環境において、連続的なタスクの実行にますます使用される。
したがって、それらの安全性は個々の行動の正しさではなく、それらが動作するシステムの規則や不変量と一致しているかどうかによって決定される。
大規模言語モデル(LLM)ベースのエージェントがより自律的になり、組織の境界を越えてタスクを委譲するようになると、それらの確保は単一の課題からエージェントスタック全体にまたがる広範囲で相互接続された環境へと進化する。
シングルエージェントレベルでは、プロンプト、メモリ、検索された知識、ツールインターフェースを通じて信頼できない入力がアタックサーフェスを生成する。
マルチエージェント設定では、デリゲートと通信はアイデンティティ、信頼、能力制御、決定透明性に関連する課題を導入します。
おそらく最も根本的な課題は行動の封じ込めである:個々の許容される行動のシーケンスは、システムレベルの制約と安全性の不変性に総括的に違反する可能性がある。
より広いレベルでは、サプライチェーンの整合性、証明性、説明可能性、エンドツーエンドの可観測性はほぼオープンな問題のままです。
セキュリティは、オプションのガイダンス層ではなく、エージェントの振る舞いを管理するアーキテクチャ、プロトコル、ランタイムの検証可能なプロパティでなければならない。
これらの課題をチャート化することは、信頼できる自律エージェントデプロイメントへのロードマップを提供する。
関連論文リスト
- Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳（メタデータ） (2026-07-28T17:50:44Z) - Position: AI Safety Requires Effective Controllability [7.789894640525689]
我々は、AIの安全性は第一級の目的として制御性を必要とすると論じている。
OpenClawベースのエージェントによる実験では、現在のアライメントとガードレール機構がリスクを低減しているが、永続的で権威的で強制可能なランタイムコントロールの提供に失敗することが多い。
論文 参考訳（メタデータ） (2026-05-26T14:53:24Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents [121.77550256034]
DecodingTrust-Agent Platform (DTap)は、AIエージェントのためのコントロール可能でインタラクティブなレッドチームプラットフォームである。
DTap-Redは、多様なインジェクションベクターを探索し、効果的な攻撃戦略を自律的に発見する、最初の自律的赤チームエージェントである。
DTapを通じて、さまざまなバックボーンモデル上に構築された一般的なAIエージェントの大規模評価を行う。
論文 参考訳（メタデータ） (2026-05-06T11:59:48Z) - Security Considerations for Artificial Intelligence Agents [7.055090485438426]
この記事では、フロンティアAIエージェントのセキュリティに関するPerplexityの観察とレコメンデーションについて詳述する。
ツール、コネクタ、ホスティングバウンダリ、マルチエージェントコーディネートにアタックサーフェスをマップします。
我々は,NISTのリスク管理の原則に適合した安全マルチエージェントシステム設計の指針として,標準と研究ギャップを特定した。
論文 参考訳（メタデータ） (2026-03-12T17:49:39Z) - AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security [126.49733412191416]
現在のガードレールモデルは、リスク診断におけるエージェント的リスク認識と透明性を欠いている。
エージェントリスクをソース(場所)、障害モード(方法)、結果(何)で分類する統合された3次元分類法を提案する。
AgentDoG(AgentDoG)のための,エージェント安全性ベンチマーク(ATBench)と診断ガードレールフレームワークを新たに導入する。
論文 参考訳（メタデータ） (2026-01-26T13:45:41Z) - The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳（メタデータ） (2026-01-21T15:22:21Z) - Institutional AI: A Governance Framework for Distributional AGI Safety [1.3763052684269788]
AIモデルのコア特性から生じる3つの構造的問題を同定する。
ソリューションはInstitutional AIであり、AIエージェント集団の効果的なガバナンスの問題としてアライメントを扱うシステムレベルのアプローチである。
論文 参考訳（メタデータ） (2026-01-15T17:08:26Z) - Towards Responsible and Explainable AI Agents with Consensus-Driven Reasoning [4.226647687395254]
本稿では,多モデルコンセンサスと推論層ガバナンスに基づく実運用レベルのエージェントのためのResponsible(RAI)およびExplainable(XAI)AIエージェントアーキテクチャを提案する。
提案した設計では、異種LLMとVLMエージェントのコンソーシアムが独立して、共有入力コンテキストから候補出力を生成する。
専用の推論エージェントは、これらのアウトプットをまたいで構造化された統合を行い、安全と政策の制約を強制し、幻覚と偏見を緩和し、監査可能な証拠に基づく決定を生成する。
論文 参考訳（メタデータ） (2025-12-25T14:49:25Z) - SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。
行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。
また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
論文 参考訳（メタデータ） (2025-07-01T15:10:00Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T05:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。