論文の概要: SoK: Unifying Cybersecurity and Cybersafety of Multimodal Foundation Models with an Information Theory Approach

• arxiv url: http://arxiv.org/abs/2411.11195v2
• Date: Tue, 19 Nov 2024 11:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:35:07.998385
• Title: SoK: Unifying Cybersecurity and Cybersafety of Multimodal Foundation Models with an Information Theory Approach
• Title（参考訳）: SoK:情報理論アプローチによるマルチモーダルファンデーションモデルのサイバーセキュリティとサイバーセーフティの統合
• Authors: Ruoxi Sun, Jiamin Chang, Hammond Pearce, Chaowei Xiao, Bo Li, Qi Wu, Surya Nepal, Minhui Xue,
• Abstract要約: MFM(Multimodal foundation model)は、人工知能の大幅な進歩を表す。 本稿では,マルチモーダル学習におけるサイバーセーフティとサイバーセキュリティを概念化する。 我々は、これらの概念をMFMに統一し、重要な脅威を特定するための総合的知識体系化(SoK)を提案する。
• 参考スコア（独自算出の注目度）: 58.93030774141753
• License:
• Abstract: Multimodal foundation models (MFMs) represent a significant advancement in artificial intelligence, combining diverse data modalities to enhance learning and understanding across a wide range of applications. However, this integration also brings unique safety and security challenges. In this paper, we conceptualize cybersafety and cybersecurity in the context of multimodal learning and present a comprehensive Systematization of Knowledge (SoK) to unify these concepts in MFMs, identifying key threats to these models. We propose a taxonomy framework grounded in information theory, evaluating and categorizing threats through the concepts of channel capacity, signal, noise, and bandwidth. This approach provides a novel framework that unifies model safety and system security in MFMs, offering a more comprehensive and actionable understanding of the risks involved. We used this to explore existing defense mechanisms, and identified gaps in current research - particularly, a lack of protection for alignment between modalities and a need for more systematic defense methods. Our work contributes to a deeper understanding of the security and safety landscape in MFMs, providing researchers and practitioners with valuable insights for improving the robustness and reliability of these models.
• Abstract（参考訳）: MFM(Multimodal foundation model)は、多種多様なデータモダリティを組み合わせることで、幅広いアプリケーションにおける学習と理解の促進を図っている。 しかし、この統合は、ユニークな安全性とセキュリティ上の課題をもたらす。 本稿では,マルチモーダル学習におけるサイバーセーフティとサイバーセキュリティを概念化し,これらの概念をMFMに統一するための総合的知識体系(SoK)を提案する。 本稿では,チャネルキャパシティ,信号,ノイズ,帯域幅といった概念を用いて,脅威を評価・分類する,情報理論に基づく分類フレームワークを提案する。 このアプローチは、MDMにおけるモデル安全性とシステムセキュリティを統一する新しいフレームワークを提供し、関連するリスクをより包括的で実用的な理解を提供する。 我々はこれを既存の防衛機構の探索に利用し、現在の研究のギャップを特定しました - 特に、モダリティ間の整合性に対する保護の欠如と、より体系的な防衛方法の必要性です。 我々の研究は、MFMの安全性と安全性の展望をより深く理解し、これらのモデルの堅牢性と信頼性を改善する上で、研究者や実践者に貴重な洞察を与えてくれます。

関連論文リスト

• Ten Challenging Problems in Federated Foundation Models [55.343738234307544]
  フェデレーション・ファンデーション・モデル(Federated Foundation Models、FedFM)は、フェデレーション・モデルの一般的な能力とフェデレーション・ラーニングのプライバシー保護能力を融合させる分散学習パラダイムである。 本稿では,FedFMに固有の10の課題について,基礎理論,プライベートデータの利用,継続学習,非学習,非IIDおよびグラフデータ,双方向知識伝達,インセンティブ機構設計,ゲーム機構設計,モデル透かし,効率を包括的に要約する。
  論文  参考訳（メタデータ） (2025-02-14T04:01:15Z)
• Safety at Scale: A Comprehensive Survey of Large Model Safety [299.801463557549]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation [0.3413711585591077]
  大規模言語モデル(LLM)や拡散モデルを含む生成AIシステムが急速に進歩するにつれ、その採用が増加し、新たな複雑なセキュリティリスクがもたらされた。 本稿では,これらの突発的なセキュリティリスクを分類・緩和するための新しい形式的枠組みを提案する。 我々は、潜時空間利用、マルチモーダル・クロスアタック・ベクター、フィードバックループによるモデル劣化など、未探索のリスクを特定した。
  論文  参考訳（メタデータ） (2024-10-15T02:51:32Z)
• Diffusion Models for Offline Multi-agent Reinforcement Learning with Safety Constraints [0.0]
  マルチエージェント強化学習パラダイムに拡散モデルを統合する革新的なフレームワークを導入する。 このアプローチは、協調動作をモデル化しながらリスク軽減を通じて、複数のエージェントが取るべき行動の安全性を特に向上させる。
  論文  参考訳（メタデータ） (2024-06-30T16:05:31Z)
• Securing Federated Learning with Control-Flow Attestation: A Novel Framework for Enhanced Integrity and Resilience against Adversarial Attacks [2.28438857884398]
  分散機械学習パラダイムとしてのフェデレートラーニング(FL)は、新たなサイバーセキュリティ課題を導入した。 本研究では,従来サイバーセキュリティに用いられてきた制御フロー(CFA)機構にインスパイアされた,革新的なセキュリティフレームワークを提案する。 我々は、ネットワーク全体にわたるモデル更新の完全性を認証し、検証し、モデル中毒や敵対的干渉に関連するリスクを効果的に軽減する。
  論文  参考訳（メタデータ） (2024-03-15T04:03:34Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Security and Privacy Issues of Federated Learning [0.0]
  フェデレートラーニング(FL)は、データのプライバシと機密性に対処するための有望なアプローチとして登場した。 本稿では,各種機械学習モデルを対象としたフェデレートラーニング(FL)におけるセキュリティとプライバシの包括的分類について述べる。
  論文  参考訳（メタデータ） (2023-07-22T22:51:07Z)
• Towards Safer Generative Language Models: A Survey on Safety Risks, Evaluations, and Improvements [76.80453043969209]
  本調査では,大規模モデルに関する安全研究の枠組みについて述べる。 まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。 トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
  論文  参考訳（メタデータ） (2023-02-18T09:32:55Z)
• Holistic Adversarial Robustness of Deep Learning Models [91.34155889052786]
  敵対的堅牢性は、安全性と信頼性を確保するために、機械学習モデルの最悪のケースパフォーマンスを研究する。 本稿では,深層学習モデルの対角的ロバスト性に関する研究課題の概要と研究手法の基礎原則について概説する。
  論文  参考訳（メタデータ） (2022-02-15T05:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。