論文の概要: SoK: The Security-Safety Continuum of Multimodal Foundation Models through Information Flow and Game-Theoretic Defenses

• arxiv url: http://arxiv.org/abs/2411.11195v4
• Date: Tue, 12 Aug 2025 23:56:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 14:06:00.526166
• Title: SoK: The Security-Safety Continuum of Multimodal Foundation Models through Information Flow and Game-Theoretic Defenses
• Title（参考訳）: SoK:情報フローとゲーム理論ディフェンスによるマルチモーダルファンデーションモデルのセキュリティ・セーフティ継続
• Authors: Ruoxi Sun, Jiamin Chang, Hammond Pearce, Chaowei Xiao, Bo Li, Qi Wu, Surya Nepal, Minhui Xue,
• Abstract要約: MFM(Multimodal foundation model)は、多種多様なデータモダリティを統合し、複雑で広範囲なタスクをサポートする。 本稿では,モデル行動とシステムレベルの相互作用の両方から生じる致命的な脅威を特定することで,MFMの文脈における安全性とセキュリティの概念を統一する。
• 参考スコア（独自算出の注目度）: 58.93030774141753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal foundation models (MFMs) integrate diverse data modalities to support complex and wide-ranging tasks. However, this integration also introduces distinct safety and security challenges. In this paper, we unify the concepts of safety and security in the context of MFMs by identifying critical threats that arise from both model behavior and system-level interactions. We propose a taxonomy grounded in information theory, evaluating risks through the concepts of channel capacity, signal, noise, and bandwidth. This perspective provides a principled way to analyze how information flows through MFMs and how vulnerabilities can emerge across modalities. Building on this foundation, we investigate defense mechanisms through the lens of a minimax game between attackers and defenders, highlighting key gaps in current research. In particular, we identify insufficient protection for cross-modal alignment and a lack of systematic and scalable defense strategies. Our work offers both a theoretical and practical foundation for advancing the safety and security of MFMs, supporting the development of more robust and trustworthy systems.
• Abstract（参考訳）: MFM(Multimodal foundation model)は、多種多様なデータモダリティを統合し、複雑で広範囲なタスクをサポートする。 しかし、この統合は、異なる安全性とセキュリティ上の課題ももたらします。 本稿では,モデル行動とシステムレベルの相互作用の両方から生じる致命的な脅威を特定することで,MFMの文脈における安全性とセキュリティの概念を統一する。 本稿では,情報理論に基づく分類法を提案し,チャネル容量,信号,雑音,帯域幅といった概念を通じてリスクを評価する。 この視点は、MDMを通して情報がどのように流れ、どのように脆弱性がモダリティを越えて現れるかを分析する、原則化された方法を提供する。 本研究では,攻撃者と守備者によるミニマックスゲームのレンズを通して防御機構を解明し,現在の研究における重要なギャップを浮き彫りにする。 特に,クロスモーダルアライメントの不十分な保護と,体系的かつスケーラブルな防衛戦略の欠如を指摘した。 我々の研究は、MFMの安全性と安全性を向上するための理論的および実践的な基盤を提供し、より堅牢で信頼性の高いシステムの開発を支援します。

関連論文リスト

• Zero-Trust Foundation Models: A New Paradigm for Secure and Collaborative Artificial Intelligence for Internet of Things [61.43014629640404]
  Zero-Trust Foundation Models (ZTFM)は、ゼロトラストセキュリティの原則をIoT(Internet of Things)システムの基盤モデル(FM)のライフサイクルに組み込む。 ZTFMは、分散、異質、潜在的に敵対的なIoT環境にわたって、セキュアでプライバシ保護のAIを可能にする。
  論文  参考訳（メタデータ） (2025-05-26T06:44:31Z)
• Safety in Large Reasoning Models: A Survey [15.148492389864133]
  大規模推論モデル(LRM)は、数学やコーディングといったタスクにおいて、高度な推論能力を活用して、極めて優れた成果を上げている。 本稿では,新たに出現した安全リスク,攻撃,防衛戦略を精査し,精査したLEMの包括的調査を行う。
  論文  参考訳（メタデータ） (2025-04-24T16:11:01Z)
• MMDT: Decoding the Trustworthiness and Safety of Multimodal Foundation Models [101.70140132374307]
  MMFM(Multimodal foundation model)は、自律運転、ヘルスケア、バーチャルアシスタントなど、様々なアプリケーションにおいて重要な役割を果たす。 既存のマルチモーダルモデルのベンチマークは、主にこれらのモデルの有用性を評価するか、公平性やプライバシといった限られた視点にのみフォーカスする。 MMFMの安全性と信頼性を総合的に評価するために,最初の統合プラットフォームMMDT(Multimodal DecodingTrust)を提案する。
  論文  参考訳（メタデータ） (2025-03-19T01:59:44Z)
• A Survey of Model Extraction Attacks and Defenses in Distributed Computing Environments [55.60375624503877]
  モデル抽出攻撃(MEA)は、敵がモデルを盗み、知的財産と訓練データを公開することによって、現代の機械学習システムを脅かす。 この調査は、クラウド、エッジ、フェデレーションのユニークな特性がどのように攻撃ベクトルや防御要件を形作るのかを、緊急に理解する必要に起因している。 本研究は, 自動運転車, 医療, 金融サービスといった重要な分野において, 環境要因がセキュリティ戦略にどう影響するかを実証し, 攻撃手法と防衛機構の進化を系統的に検討する。
  論文  参考訳（メタデータ） (2025-02-22T03:46:50Z)
• Model Privacy: A Unified Framework to Understand Model Stealing Attacks and Defenses [11.939472526374246]
  この研究は、モデルプライバシ(Model Privacy)と呼ばれるフレームワークを提示し、モデル盗難攻撃と防御を包括的に分析する基盤を提供する。 本稿では,攻撃戦略と防衛戦略の妥当性を定量化する手法を提案し,MLモデルにおけるユーティリティとプライバシの基本的なトレードオフを分析する。
  論文  参考訳（メタデータ） (2025-02-21T16:29:11Z)
• Ten Challenging Problems in Federated Foundation Models [55.343738234307544]
  フェデレーション・ファンデーション・モデル(Federated Foundation Models、FedFM)は、フェデレーション・モデルの一般的な能力とフェデレーション・ラーニングのプライバシー保護能力を融合させる分散学習パラダイムである。 本稿では,FedFMに固有の10の課題について,基礎理論,プライベートデータの利用,継続学習,非学習,非IIDおよびグラフデータ,双方向知識伝達,インセンティブ機構設計,ゲーム機構設計,モデル透かし,効率を包括的に要約する。
  論文  参考訳（メタデータ） (2025-02-14T04:01:15Z)
• Safety at Scale: A Comprehensive Survey of Large Model Safety [298.05093528230753]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• New Emerged Security and Privacy of Pre-trained Model: a Survey and Outlook [54.24701201956833]
  セキュリティとプライバシーの問題は、事前訓練されたモデルに対するユーザーの信頼を損なう。 現在の文献は、事前訓練されたモデルに対する攻撃と防御の明確な分類を欠いている。 この分類法は、攻撃と防御をNo-Change、Input-Change、Model-Changeアプローチに分類する。
  論文  参考訳（メタデータ） (2024-11-12T10:15:33Z)
• A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation [0.3413711585591077]
  大規模言語モデル(LLM)や拡散モデルを含む生成AIシステムが急速に進歩するにつれ、その採用が増加し、新たな複雑なセキュリティリスクがもたらされた。 本稿では,これらの突発的なセキュリティリスクを分類・緩和するための新しい形式的枠組みを提案する。 我々は、潜時空間利用、マルチモーダル・クロスアタック・ベクター、フィードバックループによるモデル劣化など、未探索のリスクを特定した。
  論文  参考訳（メタデータ） (2024-10-15T02:51:32Z)
• Diffusion Models for Offline Multi-agent Reinforcement Learning with Safety Constraints [0.0]
  マルチエージェント強化学習パラダイムに拡散モデルを統合する革新的なフレームワークを導入する。 このアプローチは、協調動作をモデル化しながらリスク軽減を通じて、複数のエージェントが取るべき行動の安全性を特に向上させる。
  論文  参考訳（メタデータ） (2024-06-30T16:05:31Z)
• Securing Federated Learning with Control-Flow Attestation: A Novel Framework for Enhanced Integrity and Resilience against Adversarial Attacks [2.28438857884398]
  分散機械学習パラダイムとしてのフェデレートラーニング(FL)は、新たなサイバーセキュリティ課題を導入した。 本研究では,従来サイバーセキュリティに用いられてきた制御フロー(CFA)機構にインスパイアされた,革新的なセキュリティフレームワークを提案する。 我々は、ネットワーク全体にわたるモデル更新の完全性を認証し、検証し、モデル中毒や敵対的干渉に関連するリスクを効果的に軽減する。
  論文  参考訳（メタデータ） (2024-03-15T04:03:34Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Security and Privacy Issues of Federated Learning [0.0]
  フェデレートラーニング(FL)は、データのプライバシと機密性に対処するための有望なアプローチとして登場した。 本稿では,各種機械学習モデルを対象としたフェデレートラーニング(FL)におけるセキュリティとプライバシの包括的分類について述べる。
  論文  参考訳（メタデータ） (2023-07-22T22:51:07Z)
• Towards Safer Generative Language Models: A Survey on Safety Risks, Evaluations, and Improvements [76.80453043969209]
  本調査では,大規模モデルに関する安全研究の枠組みについて述べる。 まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。 トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
  論文  参考訳（メタデータ） (2023-02-18T09:32:55Z)
• Holistic Adversarial Robustness of Deep Learning Models [91.34155889052786]
  敵対的堅牢性は、安全性と信頼性を確保するために、機械学習モデルの最悪のケースパフォーマンスを研究する。 本稿では,深層学習モデルの対角的ロバスト性に関する研究課題の概要と研究手法の基礎原則について概説する。
  論文  参考訳（メタデータ） (2022-02-15T05:30:27Z)
• Towards a Robust and Trustworthy Machine Learning System Development [0.09236074230806578]
  最新のML信頼性と技術に関する最近の調査をセキュリティエンジニアリングの視点から紹介します。 次に、ML実践者のための標準的かつ視覚化された方法で知識の体を表すメタモデルを記述することによって、調査の前後に研究を進めます。 本稿では,堅牢で信頼性の高いMLシステムの開発を進めるための今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2021-01-08T14:43:58Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。