論文の概要: SafeSteer: A Decoding-level Defense Mechanism for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2605.11716v1
• Date: Tue, 12 May 2026 08:05:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.691532
• Title: SafeSteer: A Decoding-level Defense Mechanism for Multimodal Large Language Models
• Title（参考訳）: SafeSteer: マルチモーダル大規模言語モデルのためのデコードレベルの防御機構
• Abstract要約: 本稿では,MLLMの復号レベル防衛機構であるSafeSteerを紹介する。 復号中に有害な出力を検出し修正するための復号プローブを含む。 MLLMの安全性は、微調整なしで最大33.40%向上できる。
• 参考スコア（独自算出の注目度）: 30.79900292985646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) are gaining increasing attention. Due to the heterogeneity of their input features, they face significant challenges in terms of jailbreak defenses. Current defense methods rely on costly fine-tuning or inefficient post-hoc interventions, limiting their ability to address novel attacks and involving performance trade-offs. To address the above issues, we explore the inherent safety capabilities within MLLMs and quantify their intrinsic ability to discern harmfulness at decoding stage. We observe that 1) MLLMs can distinguish the harmful and harmless inputs during decoding process, 2) Image-based attacks are more stealthy. Based on these insights, we introduce SafeSteer, a decoding-level defense mechanism for MLLMs. Specifically, it includes a Decoding-Probe, a lightweight probe for detecting and correcting harmful output during decoding, which iteratively steers the decoding process toward safety. Furthermore, a modal semantic alignment vector is integrated to transfer the strong textual safety alignment to the vision modality. Experiments on multiple MLLMs demonstrate that SafeSterr can improve MLLMs' safety by up to 33.40\% without fine-tuning. Notably, it can maintain the effectiveness of MLLMs, ensuring a balance between their helpfulness and harmlessness.
• Abstract（参考訳）: MLLM(Multimodal large language model)が注目されている。 入力機能の異質性のため、彼らはジェイルブレイク防御の点で重大な課題に直面している。 現在の防衛方法は、コストのかかる微調整や非効率なポストホックの介入に依存しており、新しい攻撃に対処する能力やパフォーマンスのトレードオフに対処する能力を制限する。 以上の課題に対処するため, MLLM内の本質的な安全性機能について検討し, 復号段階で有害性を識別する本質的な能力を定量化する。 私たちはそれを観察する 1)MLLMは復号過程において有害かつ無害な入力を区別することができる。 2)画像ベースの攻撃はよりステルス性が高い。 これらの知見に基づいて,MLLMの復号レベル防衛機構であるSafeSteerを紹介する。 具体的には、復号中に有害な出力を検出し、修正するための軽量プローブである復号プローブを含み、復号処理を安全に向けて反復的に操縦する。 さらに、モーダルセマンティックアライメントベクトルを統合して、強いテキストの安全性アライメントを視覚のモダリティに転送する。 複数のMLLMの実験では、SafeSterrは微調整なしでMLLMの安全性を最大33.40\%向上できることを示した。 特に、MLLMの有効性を維持し、その有用性と無害性のバランスを確保することができる。

関連論文リスト

• Odysseus: Jailbreaking Commercial Multimodal LLM-integrated Systems via Dual Steganography [77.44136793431893]
  本稿では,悪質なクエリを隠蔽して良質な画像に埋め込むために,二重ステガノグラフィーを導入した新しいjailbreakパラダイムを提案する。 我々のOdysseusはいくつかの先駆的で現実的なMLLM統合システムを脱獄し、最大99%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2025-12-23T08:53:36Z)
• Q-MLLM: Vector Quantization for Robust Multimodal Large Language Model Security [12.835224376066769]
  本稿では,2レベルベクトル量子化を統合した新たなアーキテクチャであるQ-MLLMを紹介する。 実験により、Q-MLLMは、既存のアプローチよりも、ジェイルブレイク攻撃と有害画像攻撃の両方に対する防御成功率を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-11-20T10:55:19Z)
• SafePTR: Token-Level Jailbreak Defense in Multimodal LLMs via Prune-then-Restore Mechanism [123.54980913741828]
  MLLM(Multimodal Large Language Models)は、視覚的推論をサポートするためにLLMを拡張する。 MLLMは、マルチモーダルなジェイルブレイク攻撃や安全なデプロイメントを妨げる可能性がある。 セーフ・プルー・テン・レストア(Safe Prune-then-Restore, SafePTR)は、有害なトークンを脆弱な層で選択的にプルーすると同時に、その後の層で良質な機能を復元する、トレーニング不要の防御フレームワークである。
  論文  参考訳（メタデータ） (2025-07-02T09:22:03Z)
• Reshaping Representation Space to Balance the Safety and Over-rejection in Large Audio Language Models [50.89022445197919]
  Large Audio Language Models (LALM) は、Large Language Models (LLM) の機能を拡張した。 近年の研究では、LALMは安全調整が不十分なため、有害なクエリに対して脆弱であることが明らかになっている。
  論文  参考訳（メタデータ） (2025-05-26T08:25:25Z)
• Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models? [83.53005932513155]
  MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。 そこで我々は, 単純明快な拒絶文に代えて, 少数の良性命令追従データに対して, MLLMを微調整する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-14T09:03:51Z)
• CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
  マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
  論文  参考訳（メタデータ） (2024-09-17T17:14:41Z)
• Eyes Closed, Safety On: Protecting Multimodal LLMs via Image-to-Text Transformation [98.02846901473697]
  我々は,MLLMの本来の安全意識を生かしたトレーニング不要な保護手法であるECSO(Eyes Closed, Safety On)を提案する。 ECSOは、安全でない画像をテキストに適応的に変換することで、より安全な応答を生成し、予め整列されたLCMの本質的な安全性メカニズムを活性化する。
  論文  参考訳（メタデータ） (2024-03-14T17:03:04Z)
• MLLM-Protector: Ensuring MLLM's Safety without Hurting Performance [36.03512474289962]
  本稿では,視覚入力による悪意ある攻撃に対してMLLMを防御する新たな課題について検討する。 画像は、安全アライメントの間に考慮されていない「外国語として機能する」ため、MLLMは有害な反応を生じやすい。 MLLM-Protectorは,1)軽量害検知器による有害応答の同定,2)除毒器による有害応答の無害化という2つのサブタスクを解決するためのプラグアンドプレイ戦略である。
  論文  参考訳（メタデータ） (2024-01-05T17:05:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。