Fugu-MT 論文翻訳(概要): Safety Mirage: How Spurious Correlations Undermine VLM Safety Fine-tuning

論文の概要: Safety Mirage: How Spurious Correlations Undermine VLM Safety Fine-tuning

arxiv url: http://arxiv.org/abs/2503.11832v1
Date: Fri, 14 Mar 2025 19:52:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-18 12:34:28.569988
Title: Safety Mirage: How Spurious Correlations Undermine VLM Safety Fine-tuning
Title（参考訳）: 安全ミラージュ:VLMの安全性を微調整する際の相関性
Authors: Yiwei Chen, Yuguang Yao, Yihua Zhang, Bingquan Shen, Gaowen Liu, Sijia Liu,
Abstract要約: 視覚言語モデル(VLM)は多モード入力を用いた生成モデルにおいて顕著な進歩を遂げている。現在のアライメント戦略は、キュレートされたデータセットによる監視された安全性の微調整に依存している。教師付き微調整は,表面テクスチャパターンと安全応答の急激な相関を必然的に強化することを示す。
参考スコア（独自算出の注目度）: 23.71517734919702
License:
Abstract: Recent vision-language models (VLMs) have made remarkable strides in generative modeling with multimodal inputs, particularly text and images. However, their susceptibility to generating harmful content when exposed to unsafe queries raises critical safety concerns. While current alignment strategies primarily rely on supervised safety fine-tuning with curated datasets, we identify a fundamental limitation we call the "safety mirage" where supervised fine-tuning inadvertently reinforces spurious correlations between superficial textual patterns and safety responses, rather than fostering deep, intrinsic mitigation of harm. We show that these spurious correlations leave fine-tuned VLMs vulnerable even to a simple one-word modification-based attack, where substituting a single word in text queries with a spurious correlation-inducing alternative can effectively bypass safeguards. Additionally, these correlations contribute to the over prudence, causing fine-tuned VLMs to refuse benign queries unnecessarily. To address this issue, we show machine unlearning (MU) as a powerful alternative to supervised safety fine-tuning as it avoids biased feature-label mappings and directly removes harmful knowledge from VLMs while preserving their general capabilities. Extensive evaluations across safety benchmarks show that under one-word attacks, MU-based alignment reduces the attack success rate by up to 60.17% and cuts unnecessary rejections by over 84.20%. Codes are available at https://github.com/OPTML-Group/VLM-Safety-MU. WARNING: There exist AI generations that may be offensive in nature.
Abstract（参考訳）: 近年の視覚言語モデル (VLM) は多モード入力、特にテキストや画像を用いた生成モデルにおいて顕著な進歩を遂げている。しかし、安全でないクエリに晒されたときに有害なコンテンツを生成することへの感受性は、重大な安全上の懸念を引き起こす。現在のアライメント戦略は、主に、キュレートされたデータセットによる教師付き安全性の微調整に依存していますが、我々は、「セーフティ・ミラージュ」と呼ばれる基本的な制限を特定します。これらのスプリアス相関は、単純なワンワード修正ベースの攻撃であっても、微調整されたVLMを脆弱に保ち、スプリアス相関によってテキストクエリ内の1ワードを置換することで、安全ガードを効果的に回避できることを示す。さらに、これらの相関関係は過敏性に寄与し、微調整されたVLMは不必要に良性クエリを拒否する。この問題に対処するため,マシン・アンラーニング(MU)は,特徴ラベルマッピングのバイアスを回避するとともに,汎用性を保ちながらVLMから有害な知識を直接取り除くことにより,教師付き安全微調整の強力な代替手段であることを示した。安全性ベンチマークによる大規模な評価では、一ワード攻撃の下でMUベースのアライメントは攻撃成功率を最大60.17%削減し、不要な拒絶を84.20%以上削減している。コードはhttps://github.com/OPTML-Group/VLM-Safety-MUで公開されている。 WARNING: 本質的に攻撃的なAI世代があります。

関連論文リスト

HiddenDetect: Detecting Jailbreak Attacks against Large Vision-Language Models via Monitoring Hidden States [17.601328965546617]
本研究は,LVLMが内的アクティベーションにおける安全性関連信号を本質的にエンコードしているかどうかを考察する。その結果,LVLMは安全でないプロンプトを処理する際に,異なる活性化パターンを示すことが明らかとなった。 HiddenDetectは、内部モデルのアクティベーションを活用して安全性を高める、新しいチューニング不要のフレームワークである。
論文参考訳（メタデータ） (2025-02-20T17:14:34Z)
Understanding and Rectifying Safety Perception Distortion in VLMs [19.239094089025095]
視覚言語モデル(VLM)は、視覚モダリティを統合した後、有害な要求やジェイルブレイク攻撃の影響を受けやすいものとなる。マルチモーダル入力は、テキストのみの入力に比べて、モダリティによって誘導されるアクティベーションシフトを"サファー"方向に導入する。本研究では、モダリティによるアクティベーションシフトを分解・校正し、モダリティの安全性への影響を低減させる訓練自由な手法であるShiftDCを提案する。
論文参考訳（メタデータ） (2025-02-18T18:06:48Z)
MLLM-as-a-Judge for Image Safety without Human Labeling [81.24707039432292]
AIGCの時代には、多くの画像生成モデルは有害なコンテンツを生成できる。確立された安全ルールに基づいて、このような安全でない画像を特定することが不可欠である。既存のアプローチでは、人間のラベル付きデータセットを使った微調整MLLMが一般的である。
論文参考訳（メタデータ） (2024-12-31T00:06:04Z)
Enhancing AI Safety Through the Fusion of Low Rank Adapters [7.384556630042846]
低ランク適応核融合は、悪意のあるプロンプトに直面した場合に有害な応答を緩和する。タスクアダプタと安全アダプタとのLoRA融合を利用して, 有害度率を42%低減した。また、モデルが安全でないものに近い安全なプロンプトを拒否する、誇張された安全行動も観察する。
論文参考訳（メタデータ） (2024-12-30T13:12:27Z)
ETA: Evaluating Then Aligning Safety of Vision Language Models at Inference Time [12.160713548659457]
対向的な視覚入力は、容易にVLM防御機構をバイパスすることができる。本稿では,入力された視覚的内容と出力応答を評価する2相推論時間アライメントフレームワークを提案する。実験の結果, ETAは無害性, 有用性, 効率の点で, ベースライン法よりも優れていた。
論文参考訳（メタデータ） (2024-10-09T07:21:43Z)
HiddenGuard: Fine-Grained Safe Generation with Specialized Representation Router [42.222681564769076]
我々はHiddenGuardを紹介した。HiddenGuardは大規模言語モデルにおいて、きめ細かな安全な生成のための新しいフレームワークである。 HiddenGuard には LLM と連携して動作する Prism が組み込まれている。実験の結果,HiddenGuardはF1スコアの90%以上を達成し,有害なコンテンツを検出・再現することがわかった。
論文参考訳（メタデータ） (2024-10-03T17:10:41Z)
CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
論文参考訳（メタデータ） (2024-09-17T17:14:41Z)
Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
論文参考訳（メタデータ） (2024-07-12T09:36:33Z)
Towards Comprehensive Post Safety Alignment of Large Language Models via Safety Patching [74.62818936088065]
textscSafePatchingは包括的なPSAのための新しいフレームワークである。 textscSafePatchingはベースラインメソッドよりも包括的なPSAを実現する。 textscSafePatchingは、連続的なPSAシナリオにおいて、その優位性を示している。
論文参考訳（メタデータ） (2024-05-22T16:51:07Z)
RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
論文参考訳（メタデータ） (2024-03-19T07:25:02Z)
Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
論文参考訳（メタデータ） (2023-06-22T22:13:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。