論文の概要: MMAligner: Safeguarding Multimodal Large Language Models through Representation Calibration
- arxiv url: http://arxiv.org/abs/2608.05909v1
- Date: Thu, 06 Aug 2026 11:39:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.748746
- Title: MMAligner: Safeguarding Multimodal Large Language Models through Representation Calibration
- Title（参考訳）: MMAligner: 表現キャリブレーションによるマルチモーダル大言語モデルの保護
- Abstract要約: MLLM(Multimodal large language model)は、安全でないテキストプロンプトを拒否するが、意味的に等価なマルチモーダル入力に対する有害な応答を生成する。
MLLM表現を幾何学的に解析し、この安全性の相違の原因を特定する。
既存の拒絶領域に安全でないマルチモーダル表現を校正する保護手法であるMMAlignerを提案する。
- 参考スコア（独自算出の注目度）: 34.42959451448432
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models (MLLMs) often refuse unsafe text prompts yet generate harmful responses to semantically equivalent multimodal inputs. Existing defenses either rely on external guardrails, which add inference overhead without repairing intrinsic flaws, or safety fine-tuning, which treats alignment as black-box optimization and may sacrifice utility or require large multimodal datasets. To identify the cause of this safety disparity, we analyze MLLM representations geometrically. We find that safety mechanisms learned from text persist across modalities: a shared safety subspace and refusal boundary remain effective, and representations inside this boundary consistently trigger refusals. However, unsafe multimodal inputs undergo a representation shift that places most of them outside the boundary, allowing them to bypass the model's intrinsic safety mechanism. This indicates that multimodal safety degradation stems from representation misalignment rather than the absence of safety capability. Based on this finding, we propose MMAligner, a safeguarding method that calibrates unsafe multimodal representations into the pre-existing refusal region. MMAligner applies a hard lower bound to ensure refusal, a soft upper bound to avoid excessive modification, and a preservation objective for benign inputs. Experiments across multiple open-source MLLMs show that MMAligner raises the average refusal rate on unsafe multimodal inputs to 99% with less than 2% utility degradation and minimal training data, substantially improving the safety-utility trade-off over existing baselines. (*Due to the notification from arXiv, "The Abstract field cannot be longer than 1,920 characters", the Abstract that appeared is shortened.)
- Abstract（参考訳）: MLLM(Multimodal large language model)は、安全でないテキストプロンプトを拒否するが、意味的に等価なマルチモーダル入力に対する有害な応答を生成する。
既存の防御は、固有の欠陥を修復せずに推論オーバーヘッドを追加する外部ガードレールや、ブラックボックス最適化としてアライメントを扱い、実用性を犠牲にしたり、大規模なマルチモーダルデータセットを必要とする安全細調整に依存している。
この安全性の相違の原因を特定するために,MLLM表現を幾何学的に解析する。
共有された安全部分空間と拒絶境界は有効であり、この境界内の表現は一貫して拒絶を引き起こす。
しかし、安全でないマルチモーダル入力は、そのほとんどを境界外に配置する表現シフトを実行し、モデル固有の安全性メカニズムをバイパスすることができる。
このことは、マルチモーダル安全性劣化は、安全能力の欠如よりも、表現上のミスアライメントに起因することを示している。
この発見に基づいて,既存の拒絶領域に安全でないマルチモーダル表現を校正する保護手法であるMMAlignerを提案する。
MMAlignerは、拒絶を確実にするためのハードローバウンド、過剰な修正を避けるためのソフトアッパーバウンド、良性入力の保存目的を付与する。
複数のオープンソースMLLMを対象とした実験では、MMAlignerは安全でないマルチモーダル入力に対する平均拒絶率を2%未満のユーティリティ劣化と最小限のトレーニングデータで99%に引き上げ、既存のベースラインに対する安全ユーティリティトレードオフを大幅に改善している。
(※arXivから「抽象体は1,920文字以上はならない」との通知により、出現した抽象体は短縮される。)
関連論文リスト
- Transfer Safety Awareness for Cross-Modal Safety Drift in Multimodal Large Language Models [11.458228829093152]
我々は、このクロスモーダルな安全ドリフトと表現し、パイロットスタディにより、そのような要求に対する安全応答率は、明示的に安全でないテキストを含む要求よりも大幅に低いことが示されている。
冷凍MLLMバックボーンによるクロスモーダルな安全ドリフトを緩和する軽量な方向補正法である安全認識表現転送(SRT)を提案する。
論文 参考訳（メタデータ） (2026-09-02T04:12:35Z) - ReFrame: Evidence-Guided Test-Time Safety Alignment in Multimodal Large Language Models [19.730586833276032]
マルチモーダルな安全アライメント手法は、クロスモーダルなジェイルブレイク、セーフティ・アウェアネスの失敗、過敏な拒絶に対処する必要がある。
既存の方法は、しばしばリトレーニングや内部検査に依存し、デプロイされたクローズドソースMLLMに適用性を制限する。
本稿では,2つのエージェントが軽量なローカルにデプロイされたMLLMを共有する,トレーニング不要なマルチモーダル入力リフレーミングフレームワークであるReFrameを提案する。
論文 参考訳（メタデータ） (2026-08-21T13:47:21Z) - Harnessing Textual Refusal Directions for Multimodal Safety [70.16764304975675]
マルチモーダルセーフティデータを必要とせずにマルチモーダルセーフティを注入する軽量なトレーニングフリーアプローチであるModality-Agnostic Refusal Steering (MARS)を導入する。
MARSは、アクティベーションリセンタによるモダリティの不整合を補正し、幾何的に定義された信頼領域内でステアリング強度を適応的にスケーリングし、最適な介入層を選択する。
論文 参考訳（メタデータ） (2026-06-30T15:57:50Z) - Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs [13.624659633750861]
大規模言語モデル(MLLM)の既存の安全性メカニズムは、安全性とユーティリティの基本的なトレードオフに直面している。
出力対応安全ガードレールへのパラダイムシフトを提案する。
我々の手法はモデル内の隠れ状態空間内で動作し、次の世代が安全でないかどうかを予測する。
論文 参考訳（メタデータ） (2026-06-20T12:09:13Z) - Safety Geometry Collapse in Multimodal LLMs and Adaptive Drift Correction [43.59114552026716]
MLLM(Multimodal large language model)は、テキストモダリティで学習した安全性機能を意味的に等価な非テキスト入力に転送するのに失敗することが多い。
本研究は,テキストアライメントされた拒絶方向とモダリティによるドリフト方向を解析することにより,このギャップについて検討する。
本稿では,自己修正によるモダリティドリフトを適応的に補正するトレーニングフリー推論時間法であるReGapを提案する。
論文 参考訳（メタデータ） (2026-05-18T09:16:55Z) - Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。
既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。
安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
論文 参考訳（メタデータ） (2026-05-14T12:13:08Z) - Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。
本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
論文 参考訳（メタデータ） (2026-03-31T23:19:50Z) - Reimagining Safety Alignment with An Image [49.33281424100804]
大きな言語モデル(LLM)は多様なアプリケーションで優れていますが、Jailbreak攻撃下で有害なコンテンツを生成し、良質なクエリを過剰に拒否する、という2つの課題に直面しています。
我々は,過度な拒絶を低減しつつ,セキュリティを向上させる最適化駆動型ビジュアルプロンプトフレームワークであるMagic Imageを提案する。
論文 参考訳（メタデータ） (2025-11-01T11:27:07Z) - Align is not Enough: Multimodal Universal Jailbreak Attack against Multimodal Large Language Models [83.80177564873094]
マルチモーダル・ユニバーサル・ジェイルブレイク・アタック・フレームワークを提案する。
LLaVA,Yi-VL,MiniGPT4,MiniGPT-v2,InstructBLIPなどのMLLMの望ましくないコンテキスト生成を評価する。
本研究は,MLLMにおける堅牢な安全対策の必要性を浮き彫りにするものである。
論文 参考訳（メタデータ） (2025-06-02T04:33:56Z) - Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models? [83.53005932513155]
MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。
そこで我々は, 単純明快な拒絶文に代えて, 少数の良性命令追従データに対して, MLLMを微調整する手法を提案する。
論文 参考訳（メタデータ） (2025-04-14T09:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。