論文の概要: Security of Agent-Integrated Software: When Human Operations and Agent Actions Coexist
- arxiv url: http://arxiv.org/abs/2609.23226v1
- Date: Sat, 19 Sep 2026 21:51:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 17:00:50.931446
- Title: Security of Agent-Integrated Software: When Human Operations and Agent Actions Coexist
- Title（参考訳）: エージェント統合ソフトウェアのセキュリティ:ヒューマンオペレーションとエージェントアクションが共存する時
- Abstract要約: Agent-Integrated Softwareは、インテリジェントエージェントを従来のアプリケーションに組み込む。
ヒューマンオペレーションは、ユーザが正確な変更を行い、結果を検査するのに対して、エージェントアクションはルーチンや複数ステップのタスクを実行します。
セキュリティポリシーは、両方のパスで有効でなければならない。
- 参考スコア（独自算出の注目度）: 12.727090232663954
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Agent-Integrated Software (AIS) embeds an intelligent agent in a conventional application, supporting both human operations and agent actions. Human operations let users make precise changes and inspect results, while agent actions carry out routine or multi-step tasks. These complementary roles make coexistence a likely long-term feature of many software systems. Human operations and agent actions affect the same software state and can use one another's results. Therefore, security policies must remain effective across both paths. We argue that AIS security must be assessed at the level of the whole software system. Protecting the agent and the conventional software core separately does not establish that they are secure together. To guide security analysis of AIS as a whole, we organize the problems arising from this coexistence into four categories: context misuse, authorization violation, execution control, and effect integrity. Using these categories, we examine how current practices address the security problems in AIS and where their protection remains limited. Building on this analysis, we identify research opportunities in preserving information provenance, enforcing policy across operation paths, maintaining valid authorization over time, and managing persistent effects and recovery. This resulting perspective provides a conceptual framework for understanding and improving the security of AIS.
- Abstract（参考訳）: Agent-Integrated Software (AIS)は、インテリジェントエージェントを従来のアプリケーションに組み込み、人間の操作とエージェントアクションの両方をサポートする。
ヒューマンオペレーションは、ユーザが正確な変更を行い、結果を検査するのに対して、エージェントアクションはルーチンや複数ステップのタスクを実行します。
これらの補完的な役割は、共存を多くのソフトウェアシステムの長期的特徴とすることができる。
ヒューマンオペレーションとエージェントアクションは同じソフトウェア状態に影響を与え、お互いの結果を使うことができる。
したがって、セキュリティポリシーは両方の経路で有効でなければならない。
AISのセキュリティは、ソフトウェアシステム全体のレベルで評価されなければならない、と我々は主張する。
エージェントと従来のソフトウェアコアを別々に保護することは、それらが一緒に安全であることを保証するものではない。
AISのセキュリティ分析全体を導くため、この共存から生じる問題を、文脈誤用、認可違反、実行制御、効果整合性の4つのカテゴリに分類する。
これらのカテゴリを用いて、AISのセキュリティ問題にどのように対処し、その保護が限定されているかを検討する。
この分析に基づいて,情報提供の保存,運用経路間のポリシーの強化,有効承認の維持,永続的な効果と回復の維持に関する研究機会を同定する。
この結果の観点は、AISのセキュリティを理解し改善するための概念的な枠組みを提供する。
関連論文リスト
- AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。
既存の安全機構は主に外部ガードレールに依存している。
我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
論文 参考訳（メタデータ） (2026-06-21T21:13:55Z) - SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - SafeAgent: A Runtime Protection Architecture for Agentic Systems [4.4767259565994495]
本稿では,エージェントの安全性をステートフルな意思決定問題として扱うランタイムセキュリティアーキテクチャであるSafeAgentを提案する。
提案した設計は、セマンティックリスク推論から2つの調整されたコンポーネントを通して実行ガバナンスを分離する。
Agent Security Bench (ASB) と InjecAgent の実験は、SafeAgent がベースラインとテキストレベルのガードレールメソッドよりもロバスト性を一貫して改善していることを示している。
論文 参考訳（メタデータ） (2026-04-19T18:02:21Z) - Takedown: How It's Done in Modern Coding Agent Exploits [11.214918024551638]
本研究では,8つの実世界の符号化エージェントの総合的セキュリティ分析を行う。
ユーザシステムの機密性や整合性を損なうために悪用される可能性のある,これまで見過ごされあるいは見逃された問題を含む,15のセキュリティ問題を特定します。
論文 参考訳（メタデータ） (2025-09-29T03:27:18Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - Kaleidoscopic Teaming in Multi Agent Simulations [75.47388708240042]
我々は,エージェントが行う複雑な行動,思考プロセス,行動の安全性リスクを評価する上で,既存のレッドチームや安全評価フレームワークは不十分であると主張している。
我々は,新しいコンテキスト内最適化手法を導入し,安全解析のためのより良いシナリオを生成する。
エージェントの安全性を測定するためのフレームワークとともに使用できる適切なメトリクスを提案する。
論文 参考訳（メタデータ） (2025-06-20T23:37:17Z) - LLM Agents Should Employ Security Principles [60.03651084139836]
本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。
AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
論文 参考訳（メタデータ） (2025-05-29T21:39:08Z) - Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。
我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。
これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
論文 参考訳（メタデータ） (2024-09-03T10:14:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。