論文の概要: Omni-Safety under Cross-Modality Conflict: Vulnerabilities, Dynamics Mechanisms and Efficient Alignment

• arxiv url: http://arxiv.org/abs/2602.10161v1
• Date: Tue, 10 Feb 2026 06:04:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.204927
• Title: Omni-Safety under Cross-Modality Conflict: Vulnerabilities, Dynamics Mechanisms and Efficient Alignment
• Title（参考訳）: クロスモーダル・コンフリクト下におけるオムニ・セーフティ : 脆弱性, ダイナミクス機構, 効率的なアライメント
• Abstract要約: Omni-modal Large Language Models (OLLM) の脆弱性について検討する。 我々は介入強度を適応的に変調するOmniSteerを提案する。 実験により,本手法はすべてのモダリティにまたがる汎用性を効果的に維持できることが示されている。
• 参考スコア（独自算出の注目度）: 18.100656799320777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Omni-modal Large Language Models (OLLMs) greatly expand LLMs' multimodal capabilities but also introduce cross-modal safety risks. However, a systematic understanding of vulnerabilities in omni-modal interactions remains lacking. To bridge this gap, we establish a modality-semantics decoupling principle and construct the AdvBench-Omni dataset, which reveals a significant vulnerability in OLLMs. Mechanistic analysis uncovers a Mid-layer Dissolution phenomenon driven by refusal vector magnitude shrinkage, alongside the existence of a modal-invariant pure refusal direction. Inspired by these insights, we extract a golden refusal vector using Singular Value Decomposition and propose OmniSteer, which utilizes lightweight adapters to modulate intervention intensity adaptively. Extensive experiments show that our method not only increases the Refusal Success Rate against harmful inputs from 69.9% to 91.2%, but also effectively preserves the general capabilities across all modalities. Our code is available at: https://github.com/zhrli324/omni-safety-research.
• Abstract（参考訳）: Omni-modal Large Language Models (OLLM)は、LLMのマルチモーダル能力を大幅に拡張すると同時に、クロスモーダル安全性のリスクも導入する。 しかし、オムニモダル相互作用における脆弱性の体系的な理解は依然として欠如している。 このギャップを埋めるため、モダリティ・セマンティック・デカップリングの原理を確立し、AdvBench-Omniデータセットを構築し、OLLMの重大な脆弱性を明らかにする。 力学解析により、モダル不変な純粋なリファレンス方向の存在とともに、リファレンスベクトルサイズの縮小によって引き起こされる中層溶解現象が明らかになった。 これらの知見に触発されて,Singular Value Decomposition を用いてゴールデンリフェールベクトルを抽出し,軽量アダプタを用いて介入強度を適応的に変調するOmniSteerを提案する。 本手法は, 有害入力に対する拒絶成功率を69.9%から91.2%に引き上げるだけでなく, 全モダリティの汎用性を効果的に維持できることを示す。 私たちのコードは、https://github.com/zhrli324/omni-safety-researchで公開されています。

関連論文リスト

• SafeNexus: Discovering and Steering Modality-Universal Safety Neurons in MLLMs [69.51621286001262]
  我々は、専用のニューロンレベルの介入戦略を採用する、モーダル間安全アライメントフレームワークであるSafeNexusを紹介する。 我々は、モダリティ結合型安全ニューロン(BS-Neurons)を同定し、各モダリティ内の安全行動の調節におけるそれらの役割を検証した。 我々は,アクティベーションレベル安全増幅器と安全ニューロン校正器の2つの安全アライメント戦略を提案する。
  論文  参考訳（メタデータ） (2026-07-31T02:45:56Z)
• Harnessing Textual Refusal Directions for Multimodal Safety [70.16764304975675]
  マルチモーダルセーフティデータを必要とせずにマルチモーダルセーフティを注入する軽量なトレーニングフリーアプローチであるModality-Agnostic Refusal Steering (MARS)を導入する。 MARSは、アクティベーションリセンタによるモダリティの不整合を補正し、幾何的に定義された信頼領域内でステアリング強度を適応的にスケーリングし、最適な介入層を選択する。
  論文  参考訳（メタデータ） (2026-06-30T15:57:50Z)
• Furina: Fragmented Uncertainty-Driven Refusal Instability Attack [9.678677899786718]
  大規模言語モデル (LLM) とマルチモーダル・大規模言語モデル (MLLM) の安全性の整合性は、概ね2つのしきい値のメカニズムとして機能すると考えられている。 我々は、安全行動は、小さな摂動が決定論的結果よりも拒絶決定を引き起こす不安定な領域に支配されていることを明らかにすることによって、この仮定に挑戦する。 この不安定性を特徴付けるために,外部信号と内部信号を組み合わせたマルチメトリック診断フレームワークを開発した。 Furinaは、モデル固有の最適化なしに、断片化されたシーンアンコールプロンプトを通じて意図的にこのシグネチャを誘導するジェイルブレイク攻撃である。
  論文  参考訳（メタデータ） (2026-05-24T11:35:12Z)
• Safety Geometry Collapse in Multimodal LLMs and Adaptive Drift Correction [43.59114552026716]
  MLLM(Multimodal large language model)は、テキストモダリティで学習した安全性機能を意味的に等価な非テキスト入力に転送するのに失敗することが多い。 本研究は,テキストアライメントされた拒絶方向とモダリティによるドリフト方向を解析することにより,このギャップについて検討する。 本稿では,自己修正によるモダリティドリフトを適応的に補正するトレーニングフリー推論時間法であるReGapを提案する。
  論文  参考訳（メタデータ） (2026-05-18T09:16:55Z)
• Cross-Modal Backdoors in Multimodal Large Language Models [21.893043087583667]
  単一の妥協されたコネクタは、モダリティを越えて再利用可能なラテントスペースバックドアパスを確立することができる。 この攻撃は、99.9%の攻撃成功率(ASR)を同モード設定で達成する。
  論文  参考訳（メタデータ） (2026-05-08T09:29:50Z)
• Beyond Surface Artifacts: Capturing Shared Latent Forgery Knowledge Across Modalities [52.189426539304065]
  本稿では,従来の「機能融合」から「モダリティ一般化」に再定義するパラダイムシフトを提案する。 モーダリティ固有のスタイルを明示的に分離することにより,MAFは必須かつ非モーダルな潜在フォージェリー知識を正確に抽出する。
  論文  参考訳（メタデータ） (2026-04-09T03:35:21Z)
• When Safe Models Merge into Danger: Exploiting Latent Vulnerabilities in LLM Fusion [15.004295056225002]
  モデルマージは、追加の訓練コストなしで複数の微調整 LLM の特殊能力を組み合わせるための強力な技術として登場した。 私たちはTrojanMergeというフレームワークを紹介します。これは、潜伏する悪意のあるコンポーネントをソースモデルに埋め込むフレームワークで、個別に良性のままですが、マージ時にひどいミスアライメントモデルを生成します。
  論文  参考訳（メタデータ） (2026-04-01T08:32:46Z)
• Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
  マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。 本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
  論文  参考訳（メタデータ） (2026-03-31T23:19:50Z)
• Attributing and Exploiting Safety Vectors through Global Optimization in Large Language Models [50.91504059485288]
  本報告では,全頭部のグローバルな最適化により,安全クリティカルな注意点を同時に識別するフレームワークを提案する。 我々は,アクティベーション・リマッチによって同定された安全ベクトルを利用する,新しい推論時ホワイトボックス・ジェイルブレイク法を開発した。
  論文  参考訳（メタデータ） (2026-01-22T09:32:43Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• When Safe Unimodal Inputs Collide: Optimizing Reasoning Chains for Cross-Modal Safety in Multimodal Large Language Models [50.66979825532277]
  我々は、クロスモーダルチャレンジに適した解釈可能な推論パスを備えた最初のデータセットであるSSUI(Safe-Semantics-but-Unsafe-Interpretation)を紹介した。 新たなトレーニングフレームワークであるSRPO(Safety-Aware Reasoning Path Optimization)も、SSUIデータセットに基づいて設計されている。 実験の結果, SRPO学習モデルでは, キーセーフティベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2025-09-15T15:40:58Z)
• SafeLLM: Unlearning Harmful Outputs from Large Language Models against Jailbreak Attacks [29.963044242980345]
  ジェイルブレイク攻撃は、大規模言語モデルの安全性に深刻な脅威をもたらす。 我々は,新しい非学習型防衛フレームワークであるSafeLLMを提案する。 SafeLLMは高い汎用性能を維持しながら攻撃成功率を大幅に低下させることを示す。
  論文  参考訳（メタデータ） (2025-08-21T02:39:14Z)
• Align is not Enough: Multimodal Universal Jailbreak Attack against Multimodal Large Language Models [83.80177564873094]
  マルチモーダル・ユニバーサル・ジェイルブレイク・アタック・フレームワークを提案する。 LLaVA,Yi-VL,MiniGPT4,MiniGPT-v2,InstructBLIPなどのMLLMの望ましくないコンテキスト生成を評価する。 本研究は,MLLMにおける堅牢な安全対策の必要性を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2025-06-02T04:33:56Z)
• Safety Alignment Can Be Not Superficial With Explicit Safety Signals [8.297367440457508]
  大規模言語モデル(LLM)の安全性アライメントに関する最近の研究は、既存のアプローチがしばしば表面的に機能することを明らかにしている。 既存のアライメントアプローチでは、アライメントプロセス中にモデルが暗黙的に安全関連推論タスクを学習できると考えられる。 安全関連バイナリ分類タスクを明示的に導入し,その信号を注意と復号化戦略に統合することにより,この曖昧さを解消する。
  論文  参考訳（メタデータ） (2025-05-19T20:40:46Z)
• DREAM: Disentangling Risks to Enhance Safety Alignment in Multimodal Large Language Models [37.104276926258095]
  MLLM(Multimodal Large Language Models)は、視覚データとテキストデータの統合により、ユニークな安全性上の課題を提起する。 textbfDREAM(textittextbfDisentangling textbfRisks to textbfEnhance Safety textbfAlignment in textbfMLLMs)を導入する。
  論文  参考訳（メタデータ） (2025-04-25T03:54:24Z)
• Representation Bending for Large Language Model Safety [27.842146980762934]
  大きな言語モデル(LLM)は強力なツールとして登場したが、その固有の安全性のリスクは重大な課題を引き起こしている。 本稿では,LLMにおける有害行動の表現を根本的に破壊する新しい手法であるRepBendを紹介する。 RepBendは最先端のパフォーマンスを達成し、Circuit Breaker、RMU、NPOといった従来の手法よりも優れ、攻撃成功率を最大95%削減する。
  論文  参考訳（メタデータ） (2025-04-02T09:47:01Z)
• Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
  本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。 未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:04:04Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing [26.901402236963374]
  Face Anti-Spoofing (FAS) は、顔認証システムのプレゼンテーション攻撃に対する保護に不可欠である。 多くのマルチモーダルなFASアプローチが出現しているが、見当たらない攻撃や展開条件を一般化する上での課題に直面している。
  論文  参考訳（メタデータ） (2024-02-29T16:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。