論文の概要: CTI4AI: Threat Intelligence Generation and Sharing after Red Teaming AI Models

• arxiv url: http://arxiv.org/abs/2208.07476v1
• Date: Tue, 16 Aug 2022 00:16:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-17 12:11:57.090635
• Title: CTI4AI: Threat Intelligence Generation and Sharing after Red Teaming AI Models
• Title（参考訳）: CTI4AI: レッドチームAIモデル後の脅威インテリジェンス生成と共有
• Authors: Chuyen Nguyen and Caleb Morgan and Sudip Mittal
• Abstract要約: システムの脆弱性、潜在的な脅威、システムの堅牢性を高める特性を識別する必要がある。 二次的なニーズは、このAIセキュリティ脅威インテリジェンスを、モデル開発者、ユーザ、AI/MLセキュリティ専門家など、さまざまな利害関係者間で共有することである。 本稿では,AI/ML固有の脆弱性と脅威知能を体系的に識別し,共有する必要性を克服するために,プロトタイプシステムCTI4AIを作成し,記述する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the practicality of Artificial Intelligence (AI) and Machine Learning (ML) based techniques grow, there is an ever increasing threat of adversarial attacks. There is a need to red team this ecosystem to identify system vulnerabilities, potential threats, characterize properties that will enhance system robustness, and encourage the creation of effective defenses. A secondary need is to share this AI security threat intelligence between different stakeholders like, model developers, users, and AI/ML security professionals. In this paper, we create and describe a prototype system CTI4AI, to overcome the need to methodically identify and share AI/ML specific vulnerabilities and threat intelligence.
• Abstract（参考訳）: 人工知能(ai)と機械学習(ml)ベースの技術の実用性が高まるにつれて、敵対的な攻撃の脅威がますます高まっている。 システムの脆弱性、潜在的な脅威、システムの堅牢性を高めるプロパティの特徴付け、効果的な防御の創造を促進するために、このエコシステムを再編成する必要がある。 二次的なニーズは、このAIセキュリティ脅威インテリジェンスを、モデル開発者、ユーザ、AI/MLセキュリティ専門家など、さまざまなステークホルダ間で共有することだ。 本稿では,AI/ML固有の脆弱性と脅威知能を体系的に識別し,共有する必要性を克服するために,プロトタイプシステムCTI4AIを作成し,記述する。

関連論文リスト

• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
  本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。 サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。 ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
  論文  参考訳（メタデータ） (2024-05-09T18:15:12Z)
• A Red Teaming Framework for Securing AI in Maritime Autonomous Systems [0.0]
  海上自律システムのAIセキュリティを評価するための,最初のレッドチームフレームワークを提案する。 このフレームワークはマルチパートのチェックリストであり、異なるシステムや要件に合わせて調整できる。 私たちはこのフレームワークが、現実の海上自律システムAI内の多数の脆弱性を明らかにするために、レッドチームにとって非常に効果的であることを実証しています。
  論文  参考訳（メタデータ） (2023-12-08T14:59:07Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• AI Security Threats against Pervasive Robotic Systems: A Course for Next Generation Cybersecurity Workforce [0.9137554315375919]
  ロボティクス、自動化、および関連する人工知能(AI)システムは、セキュリティ、安全性、正確性、信頼に関する懸念を広めている。 これらのシステムのセキュリティは、プライバシーの侵害、重要な操作妨害、身体の危害につながるサイバー攻撃を防ぐためにますます重要になっている。 このコースの説明には、"広汎なロボットシステムに対するAIセキュリティ脅威"に関する7つの自己完結型および適応型モジュールの詳細が含まれている。
  論文  参考訳（メタデータ） (2023-02-15T21:21:20Z)
• AI Maintenance: A Robustness Perspective [91.28724422822003]
  我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。 本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。 我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
  論文  参考訳（メタデータ） (2023-01-08T15:02:38Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• Security and Privacy for Artificial Intelligence: Opportunities and Challenges [11.368470074697747]
  近年、ほとんどのAIモデルは高度なハッキング技術に弱い。 この課題は、敵AIの研究努力を共同で進めるきっかけとなった。 我々は、AIアプリケーションに対する敵攻撃を実証する総合的なサイバーセキュリティレビューを提示する。
  論文  参考訳（メタデータ） (2021-02-09T06:06:13Z)
• A System for Automated Open-Source Threat Intelligence Gathering and Management [53.65687495231605]
  SecurityKGはOSCTIの収集と管理を自動化するシステムである。 AIとNLP技術を組み合わせて、脅威行動に関する高忠実な知識を抽出する。
  論文  参考訳（メタデータ） (2021-01-19T18:31:35Z)
• Advancing the Research and Development of Assured Artificial Intelligence and Machine Learning Capabilities [2.688723831634804]
  敵AI(A2I)と敵ML(AML)攻撃は、AI/MLモデルを欺いて操作しようとする。 AI/MLモデルはこれらの攻撃に対して防御できることが必須である。 A2I Working Group(A2IWG)は、保証されたAI/ML機能の研究と開発を推進しようとしている。
  論文  参考訳（メタデータ） (2020-09-24T20:12:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。