論文の概要: Systems Security Foundations for Agentic Computing
- arxiv url: http://arxiv.org/abs/2512.01295v1
- Date: Mon, 01 Dec 2025 05:28:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.696591
- Title: Systems Security Foundations for Agentic Computing
- Title(参考訳): エージェントコンピューティングのためのシステムセキュリティ基盤
- Authors: Mihai Christodorescu, Earlence Fernandes, Ashish Hooda, Somesh Jha, Johann Rehberger, Khawaja Shams,
- Abstract要約: 本稿では,AIモデルではなく,システム全体のエンドツーエンドのセキュリティ特性について検討する。
主要なゴールは、AIエージェントの文脈で従来のセキュリティ原則を適用する際に、研究上の課題がどこから生じるかを調べることである。
- 参考スコア(独自算出の注目度): 21.600611396864114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper articulates short- and long-term research problems in AI agent security and privacy, using the lens of computer systems security. This approach examines end-to-end security properties of entire systems, rather than AI models in isolation. While we recognize that hardening a single model is useful, it is important to realize that it is often insufficient. By way of an analogy, creating a model that is always helpful and harmless is akin to creating software that is always helpful and harmless. The collective experience of decades of cybersecurity research and practice shows that this is insufficient. Rather, constructing an informed and realistic attacker model before building a system, applying hard-earned lessons from software security, and continuous improvement of security posture is a tried-and-tested approach to securing real computer systems. A key goal is to examine where research challenges arise when applying traditional security principles in the context of AI agents. A secondary goal of this report is to distill these ideas for AI and ML practitioners and researchers. We discuss the challenges of applying security principles to agentic computing, present 11 case studies of real attacks on agentic systems, and define a series of new research problems specific to the security of agentic systems.
- Abstract(参考訳): 本稿では,AIエージェントのセキュリティとプライバシに関する短期的・長期的な研究問題を,コンピュータシステムセキュリティのレンズを用いて述べる。
このアプローチでは、独立したAIモデルではなく、システム全体のエンドツーエンドのセキュリティ特性を調べる。
一つのモデルの硬化が有用であることは認識していますが、しばしば不十分であることに気付くことが重要です。
アナロジーによって、常に有用で無害なモデルを作成することは、常に有益で無害なソフトウェアを作るのに似ています。
数十年にわたるサイバーセキュリティ研究と実践の集合的経験は、これが不十分であることを示している。
むしろ、システムを構築する前に情報的かつ現実的な攻撃モデルを構築し、ソフトウェアセキュリティからの厳しい教訓を適用し、セキュリティ姿勢を継続的に改善することは、実際のコンピュータシステムを保護するための試行錯誤のアプローチである。
主要なゴールは、AIエージェントの文脈で従来のセキュリティ原則を適用する際に、研究上の課題がどこから生じるかを調べることである。
このレポートの2つ目の目標は、これらのアイデアをAIや機械学習の実践者、研究者のために蒸留することである。
本稿では,エージェント・コンピューティングにセキュリティ原則を適用することの課題,エージェント・システムに対する実際の攻撃に関する11のケーススタディ,およびエージェント・システムのセキュリティに特有の一連の新しい研究課題について論じる。
関連論文リスト
- Report on NSF Workshop on Science of Safe AI [75.96202715567088]
機械学習の新たな進歩は、社会問題に対する技術ベースのソリューションを開発する新たな機会につながっている。
AIの約束を果たすためには、正確でパフォーマンスが高く、安全で信頼性の高いAIベースのシステムを開発する方法に取り組む必要がある。
本報告はワークショップの安全性の異なる側面に対処した作業グループにおける議論の結果である。
論文 参考訳(メタデータ) (2025-06-24T18:55:29Z) - Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。
これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
論文 参考訳(メタデータ) (2024-12-19T13:50:26Z) - Landscape of AI safety concerns -- A methodology to support safety assurance for AI-based autonomous systems [0.0]
AIは重要な技術として登場し、さまざまなアプリケーションにまたがる進歩を加速している。
AIコンポーネントを組み込んだシステムの安全性を確保するという課題は、極めて重要である。
本稿では,AIシステムにおける安全保証事例作成を支援する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-12-18T16:38:16Z) - Inherent Diverse Redundant Safety Mechanisms for AI-based Software
Elements in Automotive Applications [1.6495054381576084]
本稿では,自律走行システムにおける人工知能(AI)アルゴリズムの役割と課題について考察する。
主な関心事は、AIモデルの初期のトレーニングデータを超えて一般化する能力(と必要性)に関連している。
本稿では、自律運転のような安全クリティカルなアプリケーションにおける過信AIモデルに関連するリスクについて検討する。
論文 参考訳(メタデータ) (2024-02-13T04:15:26Z) - When Authentication Is Not Enough: On the Security of Behavioral-Based Driver Authentication Systems [53.2306792009435]
我々はランダムフォレストとリカレントニューラルネットワークアーキテクチャに基づく2つの軽量ドライバ認証システムを開発した。
我々は,SMARTCANとGANCANという2つの新しいエスケープアタックを開発することで,これらのシステムに対する攻撃を最初に提案する。
コントリビューションを通じて、これらのシステムを安全に採用する実践者を支援し、車の盗難を軽減し、ドライバーのセキュリティを高める。
論文 参考訳(メタデータ) (2023-06-09T14:33:26Z) - Proceedings of the Artificial Intelligence for Cyber Security (AICS)
Workshop at AAAI 2022 [55.573187938617636]
ワークショップは、サイバーセキュリティの問題へのAIの適用に焦点を当てる。
サイバーシステムは大量のデータを生成し、これを効果的に活用することは人間の能力を超えます。
論文 参考訳(メタデータ) (2022-02-28T18:27:41Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z) - Security and Machine Learning in the Real World [33.40597438876848]
私たちは、大規模にデプロイされた機械学習ソフトウェア製品のセキュリティを評価し、システムのセキュリティビューを含む会話を広げるために、私たちの経験に基づいています。
本稿では,機械学習モジュールをデプロイする実践者がシステムを保護するために使用できる,短期的な緩和提案のリストを提案する。
論文 参考訳(メタデータ) (2020-07-13T16:57:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。