論文の概要: Beyond Predictable Paths: Redefining AI Security Incident Reporting for Agents
- arxiv url: http://arxiv.org/abs/2609.24515v1
- Date: Mon, 21 Sep 2026 12:53:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.997442
- Title: Beyond Predictable Paths: Redefining AI Security Incident Reporting for Agents
- Title（参考訳）: 予測可能なパスを超えて:エージェントのAIセキュリティインシデントレポートを再定義
- Abstract要約: 我々は、AIエージェントのセキュリティが損なわれているインシデントを報告するのに必要な情報を特定する。
我々は、インシデントを効率的に記録する方法や、脆弱性とインシデントを決定する方法など、いくつかのオープンな研究課題を特定します。
プライバシー要件を要約し、AIエージェントの安全で信頼性の高いデプロイに関する研究の方向性を概説する。
- 参考スコア（独自算出の注目度）: 48.72565160246591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI agents are being deployed rapidly, accompanied by a growing number of AI-specific attacks and corresponding incidents. As incident reporting becomes increasingly important for legal compliance, governance, accountability, and security; current frameworks must be adapted to the unique characteristics of AI agents. In this paper, two editorial authors compare AI systems and AI agents and, drawing on input from 23 experts in academia and industry, identify the information required for reporting incidents where the security of AI agents is harmed. %involving AI agents. Potential reporting elements include, for example, agent memory and memory accesses, actual and potential levels of autonomy, and tool usage. Based on these findings, we identify several open research questions, including how to efficiently record incidents and how to determine whether vulnerabilities and incidents generalize. Expert feedback also highlighted potential reporting weaknesses, such as risks of data leakage and attacks targeting the reporting infrastructure itself, creating additional research needs. Lastly, we summarize privacy requirements and outline research directions for the secure and trustworthy deployment of AI agents.
- Abstract（参考訳）: AIエージェントは急速にデプロイされ、AI固有の攻撃とそれに対応するインシデントが増加している。
法的コンプライアンス、ガバナンス、説明責任、セキュリティにおいて、インシデントレポートがますます重要になるにつれて、現在のフレームワークは、AIエージェントのユニークな特性に適応する必要がある。
本稿では,2人の編集者がAIシステムとAIエージェントを比較し,学術・産業の専門家23名からの入力に基づいて,AIエージェントのセキュリティが損なわれる事件の報告に必要な情報を特定する。
%のAIエージェントが関与した。
潜在的なレポート要素には、エージェントメモリとメモリアクセス、実際のおよび潜在的な自律性レベル、ツールの使用などが含まれる。
これらの知見に基づいて,事故を効率的に記録する方法や,脆弱性やインシデントが一般化するかどうかの判断方法など,いくつかのオープンな研究課題を特定した。
専門家からのフィードバックは、データ漏洩のリスクやレポートインフラストラクチャ自体をターゲットとした攻撃といった潜在的なレポートの弱点を強調し、さらなる研究ニーズを生み出した。
最後に、プライバシ要件を要約し、AIエージェントの安全で信頼性の高いデプロイに関する研究の方向性を概説する。
関連論文リスト
- FLARE-AI: Flaw Reporting for AI [51.64618567247884]
デプロイされたAIシステムの欠陥報告は、システムの障害を特定し、AIの安全性を改善するために不可欠である。
しかし、AIレポートのエコシステムは断片化されている。欠陥を特定する研究者は、報告すべきことを知らないことが多く、レポートを受け取るグループは、他の関連するステークホルダーと共有することはめったにない。
私たちは、AI開発者、サイバーセキュリティグループ、AI欠陥アグリゲータによって公表された12のレポートシステムを監査します。
我々は、既存のシステムとの相互運用性のために設計された、オープンソースのAI欠陥報告システムであるFLARE-AIを紹介する。
論文 参考訳（メタデータ） (2026-06-30T12:27:09Z) - Agents of Chaos [50.53354213047402]
実験室環境に展開する自律言語モデルを用いたエージェントの探索的再チームの研究を報告する。
20人のAI研究者が、良心的および敵対的な条件下でエージェントと対話した。
我々の発見は、現実的なデプロイメント設定におけるセキュリティ、プライバシ、ガバナンスに関連する脆弱性の存在を確立します。
論文 参考訳（メタデータ） (2026-02-23T16:28:48Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳（メタデータ） (2026-02-13T21:32:32Z) - Incident Analysis for AI Agents [0.7831579563743714]
AIエージェントがより広くデプロイされるにつれて、インシデントの数が増える可能性が高い。
本稿ではエージェントのインシデント分析フレームワークを提案する。
特定のインシデントに関連する要因を明らかにするのに役立つ、特定の情報を特定します。
論文 参考訳（メタデータ） (2025-08-19T19:39:37Z) - Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。
これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
論文 参考訳（メタデータ） (2024-12-19T13:50:26Z) - Security of AI Agents [5.468745160706382]
システムセキュリティの観点から、AIエージェントの潜在的な脆弱性を特定し、記述する。
本研究では,各脆弱性に対応する防御機構を設計と実験で導入し,その生存性を評価する。
本稿では、現在のAIエージェント開発におけるセキュリティ問題を文脈的に分析し、AIエージェントをより安全で信頼性の高いものにするための方法を解説する。
論文 参考訳（メタデータ） (2024-06-12T23:16:45Z) - AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways [10.16690494897609]
人工知能(AI)エージェント(英: Artificial Intelligence, AI)は、自律的にタスクを実行したり、事前に定義された目的やデータ入力に基づいて決定を行うソフトウェアエンティティである。
この調査は、AIエージェントが直面している新たなセキュリティ脅威を掘り下げ、これらを4つの重要な知識ギャップに分類する。
これらの脅威を体系的にレビューすることにより、この論文はAIエージェントの保護における進歩と既存の制限の両方を強調している。
論文 参考訳（メタデータ） (2024-06-04T01:22:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。