論文の概要: SoK: Unifying Cybersecurity and Cybersafety of Multimodal Foundation Models with an Information Theory Approach

• arxiv url: http://arxiv.org/abs/2411.11195v2
• Date: Tue, 19 Nov 2024 11:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:35:07.998385
• Title: SoK: Unifying Cybersecurity and Cybersafety of Multimodal Foundation Models with an Information Theory Approach
• Title（参考訳）: SoK:情報理論アプローチによるマルチモーダルファンデーションモデルのサイバーセキュリティとサイバーセーフティの統合
• Authors: Ruoxi Sun, Jiamin Chang, Hammond Pearce, Chaowei Xiao, Bo Li, Qi Wu, Surya Nepal, Minhui Xue,
• Abstract要約: MFM(Multimodal foundation model)は、人工知能の大幅な進歩を表す。 本稿では,マルチモーダル学習におけるサイバーセーフティとサイバーセキュリティを概念化する。 我々は、これらの概念をMFMに統一し、重要な脅威を特定するための総合的知識体系化(SoK)を提案する。
• 参考スコア（独自算出の注目度）: 58.93030774141753
• License:
• Abstract: Multimodal foundation models (MFMs) represent a significant advancement in artificial intelligence, combining diverse data modalities to enhance learning and understanding across a wide range of applications. However, this integration also brings unique safety and security challenges. In this paper, we conceptualize cybersafety and cybersecurity in the context of multimodal learning and present a comprehensive Systematization of Knowledge (SoK) to unify these concepts in MFMs, identifying key threats to these models. We propose a taxonomy framework grounded in information theory, evaluating and categorizing threats through the concepts of channel capacity, signal, noise, and bandwidth. This approach provides a novel framework that unifies model safety and system security in MFMs, offering a more comprehensive and actionable understanding of the risks involved. We used this to explore existing defense mechanisms, and identified gaps in current research - particularly, a lack of protection for alignment between modalities and a need for more systematic defense methods. Our work contributes to a deeper understanding of the security and safety landscape in MFMs, providing researchers and practitioners with valuable insights for improving the robustness and reliability of these models.
• Abstract（参考訳）: MFM(Multimodal foundation model)は、多種多様なデータモダリティを組み合わせることで、幅広いアプリケーションにおける学習と理解の促進を図っている。 しかし、この統合は、ユニークな安全性とセキュリティ上の課題をもたらす。 本稿では,マルチモーダル学習におけるサイバーセーフティとサイバーセキュリティを概念化し,これらの概念をMFMに統一するための総合的知識体系(SoK)を提案する。 本稿では,チャネルキャパシティ,信号,ノイズ,帯域幅といった概念を用いて,脅威を評価・分類する,情報理論に基づく分類フレームワークを提案する。 このアプローチは、MDMにおけるモデル安全性とシステムセキュリティを統一する新しいフレームワークを提供し、関連するリスクをより包括的で実用的な理解を提供する。 我々はこれを既存の防衛機構の探索に利用し、現在の研究のギャップを特定しました - 特に、モダリティ間の整合性に対する保護の欠如と、より体系的な防衛方法の必要性です。 我々の研究は、MFMの安全性と安全性の展望をより深く理解し、これらのモデルの堅牢性と信頼性を改善する上で、研究者や実践者に貴重な洞察を与えてくれます。

関連論文リスト

• A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation [0.3413711585591077]
  大規模言語モデル(LLM)や拡散モデルを含む生成AIシステムが急速に進歩するにつれ、その採用が増加し、新たな複雑なセキュリティリスクがもたらされた。 本稿では,これらの突発的なセキュリティリスクを分類・緩和するための新しい形式的枠組みを提案する。 我々は、潜時空間利用、マルチモーダル・クロスアタック・ベクター、フィードバックループによるモデル劣化など、未探索のリスクを特定した。
  論文  参考訳（メタデータ） (2024-10-15T02:51:32Z)
• Diffusion Models for Offline Multi-agent Reinforcement Learning with Safety Constraints [0.0]
  マルチエージェント強化学習パラダイムに拡散モデルを統合する革新的なフレームワークを導入する。 このアプローチは、協調動作をモデル化しながらリスク軽減を通じて、複数のエージェントが取るべき行動の安全性を特に向上させる。
  論文  参考訳（メタデータ） (2024-06-30T16:05:31Z)
• Securing Federated Learning with Control-Flow Attestation: A Novel Framework for Enhanced Integrity and Resilience against Adversarial Attacks [2.28438857884398]
  分散機械学習パラダイムとしてのフェデレートラーニング(FL)は、新たなサイバーセキュリティ課題を導入した。 本研究では,従来サイバーセキュリティに用いられてきた制御フロー(CFA)機構にインスパイアされた,革新的なセキュリティフレームワークを提案する。 我々は、ネットワーク全体にわたるモデル更新の完全性を認証し、検証し、モデル中毒や敵対的干渉に関連するリスクを効果的に軽減する。
  論文  参考訳（メタデータ） (2024-03-15T04:03:34Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Security and Privacy Issues of Federated Learning [0.0]
  フェデレートラーニング(FL)は、データのプライバシと機密性に対処するための有望なアプローチとして登場した。 本稿では,各種機械学習モデルを対象としたフェデレートラーニング(FL)におけるセキュリティとプライバシの包括的分類について述べる。
  論文  参考訳（メタデータ） (2023-07-22T22:51:07Z)
• Towards Safer Generative Language Models: A Survey on Safety Risks, Evaluations, and Improvements [76.80453043969209]
  本調査では,大規模モデルに関する安全研究の枠組みについて述べる。 まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。 トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
  論文  参考訳（メタデータ） (2023-02-18T09:32:55Z)
• Holistic Adversarial Robustness of Deep Learning Models [91.34155889052786]
  敵対的堅牢性は、安全性と信頼性を確保するために、機械学習モデルの最悪のケースパフォーマンスを研究する。 本稿では,深層学習モデルの対角的ロバスト性に関する研究課題の概要と研究手法の基礎原則について概説する。
  論文  参考訳（メタデータ） (2022-02-15T05:30:27Z)
• SafeAMC: Adversarial training for robust modulation recognition models [53.391095789289736]
  通信システムには、Deep Neural Networks(DNN)モデルに依存する変調認識など、多くのタスクがある。 これらのモデルは、逆方向の摂動、すなわち、誤分類を引き起こすために作られた知覚不能な付加音に影響を受けやすいことが示されている。 本稿では,自動変調認識モデルのロバスト性を高めるために,逆方向の摂動を伴うモデルを微調整する逆方向トレーニングを提案する。
  論文  参考訳（メタデータ） (2021-05-28T11:29:04Z)
• Towards a Robust and Trustworthy Machine Learning System Development [0.09236074230806578]
  最新のML信頼性と技術に関する最近の調査をセキュリティエンジニアリングの視点から紹介します。 次に、ML実践者のための標準的かつ視覚化された方法で知識の体を表すメタモデルを記述することによって、調査の前後に研究を進めます。 本稿では,堅牢で信頼性の高いMLシステムの開発を進めるための今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2021-01-08T14:43:58Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。