論文の概要: Safe Vision-Language Models via Unsafe Weights Manipulation

• arxiv url: http://arxiv.org/abs/2503.11742v1
• Date: Fri, 14 Mar 2025 17:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:35:16.753779
• Title: Safe Vision-Language Models via Unsafe Weights Manipulation
• Title（参考訳）: アンセーフウェイト操作による安全ビジョンランゲージモデル
• Authors: Moreno D'Incà, Elia Peruzzo, Xingqian Xu, Humphrey Shi, Nicu Sebe, Massimiliano Mancini,
• Abstract要約: 我々は、異なるレベルの粒度で安全性を評価する新しい指標セットであるSafe-Groundを導入し、安全性の評価を見直した。 我々は異なる方向を採り、トレーニングなしでモデルをより安全にできるかどうかを探り、Unsafe Weights Manipulation (UWM)を導入します。 UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。
• 参考スコア（独自算出の注目度）: 75.04426753720551
• License:
• Abstract: Vision-language models (VLMs) often inherit the biases and unsafe associations present within their large-scale training dataset. While recent approaches mitigate unsafe behaviors, their evaluation focuses on how safe the model is on unsafe inputs, ignoring potential shortcomings on safe ones. In this paper, we first revise safety evaluation by introducing SafeGround, a new set of metrics that evaluate safety at different levels of granularity. With this metric, we uncover a surprising issue of training-based methods: they make the model less safe on safe inputs. From this finding, we take a different direction and explore whether it is possible to make a model safer without training, introducing Unsafe Weights Manipulation (UWM). UWM uses a calibration set of safe and unsafe instances to compare activations between safe and unsafe content, identifying the most important parameters for processing the latter. Their values are then manipulated via negation. Experiments show that UWM achieves the best tradeoff between safety and knowledge preservation, consistently improving VLMs on unsafe queries while outperforming even training-based state-of-the-art methods on safe ones.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、大規模なトレーニングデータセットに存在するバイアスや安全でない関連を継承することが多い。 最近のアプローチでは、安全でない動作が軽減されているが、彼らの評価は、モデルが安全でない入力に対していかに安全であるかに焦点を当てており、安全な動作に対する潜在的な欠点を無視している。 本稿では,異なるレベルの粒度で安全性を評価する新しい指標セットであるSafeGroundを導入することにより,安全性評価を初めて改善する。 このメトリクスで、トレーニングベースのメソッドの驚くべき問題を明らかにします。 この結果から、トレーニングなしでモデルをより安全なものにできるかどうかを、異なる方向から検討し、Unsafe Weights Manipulation (UWM)を導入する。 UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。 それらの値は否定によって操作される。 実験により、UWMは安全と知識の保存の最良のトレードオフを達成し、安全でないクエリのVLMを継続的に改善し、安全なクエリのトレーニングベースの最先端メソッドよりも優れた性能を発揮することが示された。

関連論文リスト

• Can't See the Forest for the Trees: Benchmarking Multimodal Safety Awareness for Multimodal LLMs [56.440345471966666]
  MLLM(Multimodal Large Language Models)は、テキストと画像の両方を通して対話を可能にすることで、従来の言語モデルの能力を拡大した。 MMSafeAwareは,安全シナリオ29のMLLMを評価するために設計された,初の総合的マルチモーダル安全意識ベンチマークである。 MMSafeAwareには安全でないサブセットと安全でないサブセットの両方が含まれており、安全でないコンテンツを正しく識別するモデルの評価と、有用性を阻害する過敏性を回避することができる。
  論文  参考訳（メタデータ） (2025-02-16T16:12:40Z)
• Vulnerability Mitigation for Safety-Aligned Language Models via Debiasing [12.986006070964772]
  安全性アライメントは、現実世界のAIアプリケーションにとって重要な研究トピックである。 本研究はまず,モデルの有用性を犠牲にすることなく,このような脆弱性を除去することの難しさを明らかにした。 本手法は,安全性を維持しつつモデルの有用性を高め,トレードオフを改善できる。
  論文  参考訳（メタデータ） (2025-02-04T09:31:54Z)
• Internal Activation as the Polar Star for Steering Unsafe LLM Behavior [50.463399903987245]
  SafeSwitchは、モデルの内部状態を監視し、利用することによって、安全でない出力を動的に制御するフレームワークである。 実証実験の結果,SafeSwitchは安全性ベンチマークで80%以上の有害な出力を削減し,有効性を維持していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations [19.132597762214722]
  現在のアライメント手法は、動的なユーザ意図と複雑な目的に苦しむ。 異なるシナリオにおける安全性を向上させるトレーニングフリーフレームワークであるSafety Arithmeticを提案する。 実験の結果,安全算術は安全対策を大幅に改善し,過度な安全性を低減し,モデルの有用性を維持できることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T17:48:13Z)
• Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints [15.904640266226023]
  我々は、安全に関する部分的状態行動軌跡の貢献を評価するために、信用割当を行う安全モデルの設計を行う。 学習された安全モデルを用いて安全なポリシーを最適化する有効なアルゴリズムを導出する。 安全報酬と安全コンプライアンスのトレードオフ係数を動的に適用する手法を考案する。
  論文  参考訳（メタデータ） (2024-05-05T17:27:22Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Fail-Safe Adversarial Generative Imitation Learning [9.594432031144716]
  本稿では, 安全な生成連続ポリシー, エンドツーエンドの生成逆トレーニング, 最悪の場合の安全性保証を, クローズドフォームの確率密度/勾配で実現する安全層を提案する。 安全層は、すべてのアクションを安全なアクションの集合にマッピングし、変量式と密度の測定値の加算率を使用する。 実世界のドライバーのインタラクションデータに関する実験では,提案手法のトラクタビリティ,安全性,模倣性能を実証的に実証した。
  論文  参考訳（メタデータ） (2022-03-03T13:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。