論文の概要: Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models?

• arxiv url: http://arxiv.org/abs/2504.10000v1
• Date: Mon, 14 Apr 2025 09:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-22 22:37:37.075659
• Title: Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models?
• Title（参考訳）: マルチモーダル大言語モデルにおける安全アライメントのための不正データ収集は本当に必要か?
• Authors: Yanbo Wang, Jiyang Guan, Jian Liang, Ran He,
• Abstract要約: MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。 そこで我々は, 単純明快な拒絶文に代えて, 少数の良性命令追従データに対して, MLLMを微調整する手法を提案する。
• 参考スコア（独自算出の注目度）: 83.53005932513155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal large language models (MLLMs) have made significant progress, yet their safety alignment remains limited. Typically, current open-source MLLMs rely on the alignment inherited from their language module to avoid harmful generations. However, the lack of safety measures specifically designed for multi-modal inputs creates an alignment gap, leaving MLLMs vulnerable to vision-domain attacks such as typographic manipulation. Current methods utilize a carefully designed safety dataset to enhance model defense capability, while the specific knowledge or patterns acquired from the high-quality dataset remain unclear. Through comparison experiments, we find that the alignment gap primarily arises from data distribution biases, while image content, response quality, or the contrastive behavior of the dataset makes little contribution to boosting multi-modal safety. To further investigate this and identify the key factors in improving MLLM safety, we propose finetuning MLLMs on a small set of benign instruct-following data with responses replaced by simple, clear rejection sentences. Experiments show that, without the need for labor-intensive collection of high-quality malicious data, model safety can still be significantly improved, as long as a specific fraction of rejection data exists in the finetuning set, indicating the security alignment is not lost but rather obscured during multi-modal pretraining or instruction finetuning. Simply correcting the underlying data bias could narrow the safety gap in the vision domain.
• Abstract（参考訳）: MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。 一般的に、現在のオープンソースのMLLMは、有害な世代を避けるために、言語モジュールから継承されたアライメントに依存している。 しかし、マルチモーダル入力用に特別に設計された安全対策の欠如はアライメントギャップを生じさせ、MLLMはタイポグラフィー操作のような視覚領域攻撃に対して脆弱である。 現在の手法では、モデル防御能力を高めるために慎重に設計された安全データセットを使用しているが、高品質なデータセットから得られた特定の知識やパターンはいまだ不明である。 比較実験により、アライメントギャップは、主にデータ分散バイアスから生じ、一方、画像の内容、応答品質、あるいはデータセットの対照的な振る舞いは、マルチモーダル安全性の向上にはほとんど寄与しないことがわかった。 さらに,MLLMの安全性向上の鍵となる要因を解明するために,単純明快な拒絶文に代えて,少数の良性命令追従データに対して,MLLMを微調整する手法を提案する。 実験では、高品質な悪意のあるデータの労働集約的な収集を必要とせず、特定の拒否データがファインタニングセットに存在する限り、モデルの安全性は大幅に改善され、セキュリティアライメントが失われるのではなく、マルチモーダル事前訓練やインストラクションファインタニングにおいて、より曖昧であることが示されている。 基礎となるデータのバイアスを修正するだけで、視覚領域の安全性のギャップを狭めることができる。

関連論文リスト

• Fundamental Safety-Capability Trade-offs in Fine-tuning Large Language Models [92.38300626647342]
  タスク固有のデータセット上でのLLM(Fun-tuning Large Language Model)は、LLMの第一の用途である。 本稿では,LLMファインチューニング戦略の安全性と能力の相互作用を理解するための理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-03-24T20:41:57Z)
• MLLM-as-a-Judge for Image Safety without Human Labeling [81.24707039432292]
  AIGCの時代には、多くの画像生成モデルは有害なコンテンツを生成できる。 確立された安全ルールに基づいて、このような安全でない画像を特定することが不可欠である。 既存のアプローチでは、人間のラベル付きデータセットを使った微調整MLLMが一般的である。
  論文  参考訳（メタデータ） (2024-12-31T00:06:04Z)
• Multitask Mayhem: Unveiling and Mitigating Safety Gaps in LLMs Fine-tuning [1.3307486544794784]
  レッドチーム/セーフティアライメントの取り組みは、良質な(有害でない)データの微調整モデルが安全性を損なう可能性があることを示している。 本稿では,要約,コード生成,翻訳,分類などの下流タスクの微調整によるタスクの安全性の低下について検討する。 我々の研究は、より安全でロバストなモデルを保証するために、一般化されたアライメント対策の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-09-18T08:04:24Z)
• CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
  マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
  論文  参考訳（メタデータ） (2024-09-17T17:14:41Z)
• Cross-modality Information Check for Detecting Jailbreaking in Multimodal Large Language Models [17.663550432103534]
  マルチモーダル大言語モデル(MLLM)は、多モーダル情報を包括的に理解するためにLLMの能力を拡張する。 これらのモデルは、悪意のあるユーザーがターゲットモデルの安全アライメントを壊し、誤解を招く、有害な回答を発生させることができるジェイルブレイク攻撃の影響を受けやすい。 本稿では,悪質な摂動画像入力を識別するプラグイン・アンド・プレイのジェイルブレイク検出装置であるCIDERを提案する。
  論文  参考訳（メタデータ） (2024-07-31T15:02:46Z)
• SPA-VL: A Comprehensive Safety Preference Alignment Dataset for Vision Language Model [77.86593720792986]
  本稿では,SPA-VL と呼ばれる視覚言語モデルのための安全優先アライメントデータセットを提案する。 SPA-VLは6つの有害ドメイン、13のカテゴリ、53のサブカテゴリをカバーし、クエクション、画像、選択された応答、拒否された応答)の4倍体の100,788のサンプルを含んでいる。 実験により、SPA-VLデータセット上のアライメント技術でトレーニングされたモデルは、コア機能を維持しながら、無害性と有用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-06-17T18:57:37Z)
• Fine-Tuning, Quantization, and LLMs: Navigating Unintended Outcomes [0.0]
  大規模言語モデル(LLM)は、チャットボットやオートタスク補完エージェントなど、さまざまな領域で広く採用されている。 これらのモデルは、ジェイルブレイク、プロンプトインジェクション、プライバシリーク攻撃などの安全性上の脆弱性の影響を受けやすい。 本研究では,これらの変更がLLMの安全性に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-04-05T20:31:45Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Language Models [39.56233272612982]
  現在の視覚大言語モデル(VLLM)は、有害なコンテンツを生成する傾向があり、ジェイルブレイク攻撃に弱い。 最初の分析では、視覚言語指導の微調整中に有害なデータが存在することが原因であることが判明した。 この問題に対処するために、まず、様々な有害なカテゴリをカバーする視覚言語安全な命令追従データセットVLGuardをキュレートする。
  論文  参考訳（メタデータ） (2024-02-03T16:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。