論文の概要: Self-Aware Safety Augmentation: Leveraging Internal Semantic Understanding to Enhance Safety in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2507.21637v1
• Date: Tue, 29 Jul 2025 09:48:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:55.967653
• Title: Self-Aware Safety Augmentation: Leveraging Internal Semantic Understanding to Enhance Safety in Vision-Language Models
• Title（参考訳）: 自己認識型安全性強化:視覚言語モデルにおける内部意味理解の活用による安全性向上
• Authors: Wanying Wang, Zeyu Ma, Han Zheng, Xin Tan, Mingang Chen,
• Abstract要約: 大規模視覚言語モデル(LVLM)は、言語のみのバックボーンと比較して有害な入力に対して脆弱である。 我々はこれらの能力を、言語表現の安全性認識、意味理解、アライメントとして定義する。 これらの知見に触発され,従来の安全指向層に情報的意味表現を投影する技術である textbfSelf-Aware Safety Augmentation (SASA) を提案する。
• 参考スコア（独自算出の注目度）: 21.961325147038867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (LVLMs) are vulnerable to harmful input compared to their language-only backbones. We investigated this vulnerability by exploring LVLMs internal dynamics, framing their inherent safety understanding in terms of three key capabilities. Specifically, we define these capabilities as safety perception, semantic understanding, and alignment for linguistic expression, and experimentally pinpointed their primary locations within the model architecture. The results indicate that safety perception often emerges before comprehensive semantic understanding, leading to the reduction in safety. Motivated by these findings, we propose \textbf{Self-Aware Safety Augmentation (SASA)}, a technique that projects informative semantic representations from intermediate layers onto earlier safety-oriented layers. This approach leverages the model's inherent semantic understanding to enhance safety recognition without fine-tuning. Then, we employ linear probing to articulate the model's internal semantic comprehension to detect the risk before the generation process. Extensive experiments on various datasets and tasks demonstrate that SASA significantly improves the safety of LVLMs, with minimal impact on the utility.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は、言語のみのバックボーンと比較して有害な入力に対して脆弱である。 我々は,LVLMの内部力学を探索し,その3つの重要な機能の観点から,その固有の安全性の理解をフレーミングすることによって,この脆弱性を調査した。 具体的には、これらの機能を安全認識、意味理解、言語表現のアライメントとして定義し、モデルアーキテクチャにおけるそれらの主要な位置を実験的に特定する。 その結果、包括的意味理解の前に安全知覚が出現し、安全性の低下につながることが示唆された。 これらの知見に触発されて,中間層から従来の安全指向層へ情報的意味表現を投影する手法である「textbf{Self-Aware Safety Augmentation (SASA)」を提案する。 このアプローチはモデル固有の意味理解を活用して、微調整なしで安全性認識を強化する。 次に,線形探索を用いてモデルの内部意味理解を表現し,生成プロセス前のリスクを検出する。 様々なデータセットやタスクに対する大規模な実験により、SASAはLVLMの安全性を著しく改善し、実用性に最小限の影響を与えることが示された。

関連論文リスト

• The Safety Reminder: A Soft Prompt to Reactivate Delayed Safety Awareness in Vision-Language Models [4.27794555931853]
  VLM(Vision-Language Models)は、そのマルチモーダルな性質からユニークな脆弱性に直面しており、敵は安全ガードレールをバイパスし、有害なコンテンツを生成することができる。 The Safety Reminder'は,テキスト生成プロセス中に定期的に注入される学習可能なプロンプトトークンを最適化し,安全意識を高めるソフトプロンプトチューニング手法である。
  論文  参考訳（メタデータ） (2025-06-15T12:48:38Z)
• HoliSafe: Holistic Safety Benchmarking and Modeling with Safety Meta Token for Vision-Language Model [52.72318433518926]
  既存の安全チューニングデータセットとベンチマークは、画像とテキストの相互作用が有害なコンテンツを生み出す方法を部分的に考慮しているだけである。 私たちは、安全で安全でない5つの画像とテキストの組み合わせにまたがる、全体安全データセットとベンチマークであるHoliSafeを紹介します。 我々は,学習可能な安全メタトークンと専用の安全ヘッドを備えた新しいVLMであるSafeLLaVAを提案する。
  論文  参考訳（メタデータ） (2025-06-05T07:26:34Z)
• Learning Safety Constraints for Large Language Models [41.95596134688853]
  大規模言語モデル(LLM)は有害なアウトプットと敵の攻撃に対する脆弱性を通じて重大な安全リスクを生じさせる。 モデル表現空間において,複数の安全制約を直接学習し,適用する,安全のための幾何学的アプローチであるSaPを提案する。 我々は,ポリトープのファセットを介して安全かつ安全でない領域を識別し,安全でない出力の検出と修正を可能にするフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-05-30T10:30:24Z)
• Understanding and Rectifying Safety Perception Distortion in VLMs [19.239094089025095]
  視覚言語モデル(VLM)は、視覚モダリティを統合した後、有害な要求やジェイルブレイク攻撃の影響を受けやすいものとなる。 マルチモーダル入力は、テキストのみの入力に比べて、モダリティによって誘導されるアクティベーションシフトを"サファー"方向に導入する。 本研究では、モダリティによるアクティベーションシフトを分解・校正し、モダリティの安全性への影響を低減させる訓練自由な手法であるShiftDCを提案する。
  論文  参考訳（メタデータ） (2025-02-18T18:06:48Z)
• Vulnerability Mitigation for Safety-Aligned Language Models via Debiasing [12.986006070964772]
  安全性アライメントは、現実世界のAIアプリケーションにとって重要な研究トピックである。 本研究はまず,モデルの有用性を犠牲にすることなく,このような脆弱性を除去することの難しさを明らかにした。 本手法は,安全性を維持しつつモデルの有用性を高め,トレードオフを改善できる。
  論文  参考訳（メタデータ） (2025-02-04T09:31:54Z)
• How Does Vision-Language Adaptation Impact the Safety of Vision Language Models? [27.46416187893547]
  大規模言語モデル(LLM)を大規模視覚言語モデル(LVLM)に変換する視覚言語適応(VL適応) 安全性対策の弱さによる潜在的有害性にもかかわらず、VL適応の安全性への影響に関する詳細な分析は未調査のままである。
  論文  参考訳（メタデータ） (2024-10-10T03:12:03Z)
• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。