論文の概要: Adapting cybersecurity frameworks to manage frontier AI risks: A defense-in-depth approach

• arxiv url: http://arxiv.org/abs/2408.07933v1
• Date: Thu, 15 Aug 2024 05:06:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-16 14:58:11.668079
• Title: Adapting cybersecurity frameworks to manage frontier AI risks: A defense-in-depth approach
• Title（参考訳）: AIのフロンティアリスク管理にサイバーセキュリティフレームワークを適用する - ディフェンス・イン・ディース・アプローチ
• Authors: Shaun Ee, Joe O'Brien, Zoe Williams, Amanda El-Dakhakhni, Michael Aird, Alex Lintz,
• Abstract要約: AI関連のリスク管理におけるギャップの特定を支援する3つのアプローチを概説する。 まず、機能的なアプローチは、リスク管理アプローチがカバーすべきアクティビティの不可欠なカテゴリを特定します。 第二に、ライフサイクルのアプローチは、モデル開発ライフサイクル全体にわたって安全とセキュリティのアクティビティを割り当てます。 第3に、脅威に基づくアプローチは、悪意のあるアクターが使用する戦術、テクニック、手順を特定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The complex and evolving threat landscape of frontier AI development requires a multi-layered approach to risk management ("defense-in-depth"). By reviewing cybersecurity and AI frameworks, we outline three approaches that can help identify gaps in the management of AI-related risks. First, a functional approach identifies essential categories of activities ("functions") that a risk management approach should cover, as in the NIST Cybersecurity Framework (CSF) and AI Risk Management Framework (AI RMF). Second, a lifecycle approach instead assigns safety and security activities across the model development lifecycle, as in DevSecOps and the OECD AI lifecycle framework. Third, a threat-based approach identifies tactics, techniques, and procedures (TTPs) used by malicious actors, as in the MITRE ATT&CK and MITRE ATLAS databases. We recommend that frontier AI developers and policymakers begin by adopting the functional approach, given the existence of the NIST AI RMF and other supplementary guides, but also establish a detailed frontier AI lifecycle model and threat-based TTP databases for future use.
• Abstract（参考訳）: フロンティアAI開発における複雑で進化する脅威の展望は、リスク管理のための多層アプローチを必要とする("defense-in-deepth")。 サイバーセキュリティとAIフレームワークをレビューすることで、AI関連のリスク管理のギャップを識別する3つのアプローチを概説する。 まず、機能的アプローチは、NISTサイバーセキュリティフレームワーク(CSF)やAIリスク管理フレームワーク(AI RMF)のように、リスク管理アプローチがカバーすべきアクティビティの不可欠なカテゴリ(機能)を特定する。 第二に、ライフサイクルアプローチでは、DevSecOpsやOECD AIライフサイクルフレームワークのように、モデル開発ライフサイクル全体の安全とセキュリティアクティビティを割り当てる。 第3に、脅威ベースのアプローチは、悪意あるアクターが使用する戦術、テクニック、手順(TTP)を識別する。 我々は、NIST AI RMFやその他の補助的ガイドの存在を踏まえて、機能的なアプローチを採用することから、フロンティアAI開発者や政策立案者が始めることを推奨すると同時に、将来の使用のために、フロンティアAIライフサイクルモデルと脅威ベースのTPデータベースの詳細な構築も推奨する。

関連論文リスト

• Risk Sources and Risk Management Measures in Support of Standards for General-Purpose AI Systems [2.3266896180922187]
  我々は、汎用AIシステムのためのリスクソースとリスク管理対策の広範なカタログをコンパイルする。 この作業には、モデル開発、トレーニング、デプロイメントステージにわたる技術的、運用的、社会的リスクの特定が含まれる。 このカタログは、AIガバナンスと標準における利害関係者による直接的な使用を容易にするために、パブリックドメインライセンス下でリリースされている。
  論文  参考訳（メタデータ） (2024-10-30T21:32:56Z)
• A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation [0.3413711585591077]
  大規模言語モデル(LLM)や拡散モデルを含む生成AIシステムが急速に進歩するにつれ、その採用が増加し、新たな複雑なセキュリティリスクがもたらされた。 本稿では,これらの突発的なセキュリティリスクを分類・緩和するための新しい形式的枠組みを提案する。 我々は、潜時空間利用、マルチモーダル・クロスアタック・ベクター、フィードバックループによるモデル劣化など、未探索のリスクを特定した。
  論文  参考訳（メタデータ） (2024-10-15T02:51:32Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• AI Risk Management Should Incorporate Both Safety and Security [185.68738503122114]
  AIリスクマネジメントの利害関係者は、安全とセキュリティの間のニュアンス、シナジー、相互作用を意識すべきである、と私たちは主張する。 我々は、AIの安全性とAIのセキュリティの違いと相互作用を明らかにするために、統一された参照フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-29T21:00:47Z)
• Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
  Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。 こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。 この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
  論文  参考訳（メタデータ） (2024-05-14T13:37:36Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• Application of the NIST AI Risk Management Framework to Surveillance Technology [1.5442389863546546]
  本研究は、NIST AI RMF(National Institute of Standards and Technology's AI Risk Management Framework)の応用と意義を詳細に分析する。 本研究は, 顔認識システムのリスクが高く, 連続性が高いことから, 本分野におけるリスク管理への構造的アプローチの必要性を強調している。
  論文  参考訳（メタデータ） (2024-03-22T23:07:11Z)
• Asset-centric Threat Modeling for AI-based Systems [7.696807063718328]
  本稿では、AI関連資産、脅威、対策、残留リスクの定量化のためのアプローチおよびツールであるThreatFinderAIを提案する。 このアプローチの実用性を評価するため、参加者はAIベースのヘルスケアプラットフォームのサイバーセキュリティ専門家によって開発された脅威モデルを再現するよう命じられた。 全体として、ソリューションのユーザビリティはよく認識され、脅威の識別とリスクの議論を効果的にサポートする。
  論文  参考訳（メタデータ） (2024-03-11T08:40:01Z)
• AI Hazard Management: A framework for the systematic management of root causes for AI risks [0.0]
  本稿ではAI Hazard Management(AIHM)フレームワークを紹介する。 AIのハザードを体系的に識別し、評価し、治療するための構造化されたプロセスを提供する。 総合的な最先端分析からAIハザードリストを構築する。
  論文  参考訳（メタデータ） (2023-10-25T15:55:50Z)
• Towards Safer Generative Language Models: A Survey on Safety Risks, Evaluations, and Improvements [76.80453043969209]
  本調査では,大規模モデルに関する安全研究の枠組みについて述べる。 まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。 トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
  論文  参考訳（メタデータ） (2023-02-18T09:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。