論文の概要: A Red Teaming Framework for Securing AI in Maritime Autonomous Systems
- arxiv url: http://arxiv.org/abs/2312.11500v1
- Date: Fri, 8 Dec 2023 14:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 13:39:29.698361
- Title: A Red Teaming Framework for Securing AI in Maritime Autonomous Systems
- Title（参考訳）: 海上自律システムにおけるAIのセキュア化のためのレッドチームフレームワーク
- Authors: Mathew J. Walter, Aaron Barrett and Kimberly Tam
- Abstract要約: 海上自律システムのAIセキュリティを評価するための,最初のレッドチームフレームワークを提案する。
このフレームワークはマルチパートのチェックリストであり、異なるシステムや要件に合わせて調整できる。
私たちはこのフレームワークが、現実の海上自律システムAI内の多数の脆弱性を明らかにするために、レッドチームにとって非常に効果的であることを実証しています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Artificial intelligence (AI) is being ubiquitously adopted to automate
processes in science and industry. However, due to its often intricate and
opaque nature, AI has been shown to possess inherent vulnerabilities which can
be maliciously exploited with adversarial AI, potentially putting AI users and
developers at both cyber and physical risk. In addition, there is insufficient
comprehension of the real-world effects of adversarial AI and an inadequacy of
AI security examinations; therefore, the growing threat landscape is unknown
for many AI solutions. To mitigate this issue, we propose one of the first red
team frameworks for evaluating the AI security of maritime autonomous systems.
The framework provides operators with a proactive (secure by design) and
reactive (post-deployment evaluation) response to securing AI technology today
and in the future. This framework is a multi-part checklist, which can be
tailored to different systems and requirements. We demonstrate this framework
to be highly effective for a red team to use to uncover numerous
vulnerabilities within a real-world maritime autonomous systems AI, ranging
from poisoning to adversarial patch attacks. The lessons learned from
systematic AI red teaming can help prevent MAS-related catastrophic events in a
world with increasing uptake and reliance on mission-critical AI.
- Abstract（参考訳）: 人工知能(AI)は、科学と産業のプロセスを自動化するためにユビキタスに採用されている。
しかし、しばしば複雑で不透明な性質のため、AIは本質的に脆弱性を持っていることが示されており、敵AIで悪意ある悪用が可能であり、AIユーザーと開発者をサイバーリスクと物理的リスクの両方に陥れる可能性がある。
さらに、敵AIの現実的な影響とAIセキュリティ検査の不十分さの理解が不十分であるため、多くのAIソリューションでは脅威の増大状況が不明である。
この問題を軽減するため、海上自律システムのAIセキュリティを評価するための最初のレッドチームフレームワークを提案する。
このフレームワークは、運用担当者に、現在および将来のAI技術に対する積極的な(設計によるセキュア)および反応性(デプロイ後の評価)応答を提供する。
このフレームワークはマルチパートのチェックリストであり、異なるシステムや要件に合わせて調整できる。
我々は、このフレームワークが、実世界の海洋自律システムAIにおける多数の脆弱性を明らかにするために、レッドチームにとって非常に効果的であることを示す。
組織的なAIレッドチームから学んだ教訓は、ミッションクリティカルなAIへの依存度を高めて、MAS関連の破滅的な出来事を防ぐのに役立つ。
関連論文リスト
- Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
AIシステムは知恵を欠いている。
AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。
メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
論文 参考訳（メタデータ） (2024-11-04T18:10:10Z) - Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。
新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。
レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。
この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-09-23T10:18:10Z) - Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。
サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。
ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
論文 参考訳（メタデータ） (2024-05-09T18:15:12Z) - Killer Apps: Low-Speed, Large-Scale AI Weapons [2.2899177316144943]
人工知能(AI)と機械学習(ML)の進歩は、戦争と安全保障における新たな課題と機会を提示する。
本稿では,AI兵器の概念,その展開,検出,潜在的な対策について検討する。
論文 参考訳（メタデータ） (2024-01-14T12:09:40Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳（メタデータ） (2023-01-08T15:02:38Z) - Proceedings of the Artificial Intelligence for Cyber Security (AICS)
Workshop at AAAI 2022 [55.573187938617636]
ワークショップは、サイバーセキュリティの問題へのAIの適用に焦点を当てる。
サイバーシステムは大量のデータを生成し、これを効果的に活用することは人間の能力を超えます。
論文 参考訳（メタデータ） (2022-02-28T18:27:41Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Structured access to AI capabilities: an emerging paradigm for safe AI
deployment [0.0]
AIシステムをオープンに普及させる代わりに、開発者はAIシステムとの制御された腕の長さのインタラクションを促進する。
Aimは、危険なAI能力が広くアクセスされることを防ぐと同時に、安全に使用できるAI機能へのアクセスを保護することを目的としている。
論文 参考訳（メタデータ） (2022-01-13T19:30:16Z) - Security and Privacy for Artificial Intelligence: Opportunities and
Challenges [11.368470074697747]
近年、ほとんどのAIモデルは高度なハッキング技術に弱い。
この課題は、敵AIの研究努力を共同で進めるきっかけとなった。
我々は、AIアプリケーションに対する敵攻撃を実証する総合的なサイバーセキュリティレビューを提示する。
論文 参考訳（メタデータ） (2021-02-09T06:06:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。