論文の概要: Depth-Dependent Safety Geometry in Vision-Language Models: Layer-Wise Localization and Bidirectional Refusal Control
- arxiv url: http://arxiv.org/abs/2610.32182v1
- Date: Fri, 23 Oct 2026 05:28:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.396123
- Title: Depth-Dependent Safety Geometry in Vision-Language Models: Layer-Wise Localization and Bidirectional Refusal Control
- Title（参考訳）: 視覚言語モデルにおける深さ依存性安全形状:層幅の局在化と双方向の拒絶制御
- Abstract要約: 凍結視覚言語モデル(VLM)における安全感応表現の局所化と操作のための推論時フレームワークを提案する。
初期視覚層は、学習された安全方向に沿って、アクティベーションステアリングによって強い双方向の拒絶制御をサポートし、安全でない拒絶は6%～96%である。
より深い層は安全方向に沿って十分に分離されているが、操舵にはほとんど敏感であり、表象分離性と因果制御性を区別している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language Models (VLMs) are widely deployed, yet the internal mechanisms behind their safety behavior remain poorly understood. We present a lightweight inference-time framework for localizing and manipulating safety-sensitive representations in frozen VLMs, without retraining or modifying parameters. On Qwen3-VL-4B, layer-wise activation divergence analysis reveals non-uniform safety geometry across depth. Causal interventions show that early vision layers support strong bidirectional refusal control through activation steering along a learned safety direction, with unsafe rejection spanning 6%-96%, whereas later layers respond more to activation magnitude scaling and exhibit a substantial safety-selectivity trade-off. Deeper layers remain well separated along the safety direction yet are largely insensitive to steering, distinguishing representational separability from causal controllability. InternVL2.5-4B shows qualitatively similar depth-dependent activation geometry despite differences in layer location and magnitude. Our results expose a white-box, representation-level refusal-bypass attack surface in VLM vision encoders and motivate inference-time stabilization of safety-sensitive representations.
- Abstract（参考訳）: VLM(Vision-Language Models)は広く展開されているが、それらの安全性行動の背後にある内部メカニズムはよく分かっていない。
本稿では,凍結したVLMにおける安全性に敏感な表現の局所化と操作を行うための軽量な推論時フレームワークを提案する。
Qwen3-VL-4Bでは、層単位でのアクティベーションのばらつき解析により、深さにわたって一様でない安全幾何が明らかとなる。
因果的介入により、初期視覚層は、学習された安全方向に沿って、安全でない拒絶を6%から96%の範囲で行い、後続の層はアクティベーションスケールに反応し、実質的な安全選択トレードオフを示す。
より深い層は安全方向に沿って十分に分離されているが、操舵にはほとんど敏感であり、表象分離性と因果制御性を区別している。
インターンVL2.5-4Bは、層の位置と大きさの違いにもかかわらず、定性的に類似した深度依存性の活性化構造を示す。
この結果, VLMビジョンエンコーダでは, ホワイトボックス, 表現レベルのリフレクション・バイパス攻撃面が露出し, 安全性に敏感な表現の推測時間安定化を動機付けている。
関連論文リスト
- Harnessing Textual Refusal Directions for Multimodal Safety [70.16764304975675]
マルチモーダルセーフティデータを必要とせずにマルチモーダルセーフティを注入する軽量なトレーニングフリーアプローチであるModality-Agnostic Refusal Steering (MARS)を導入する。
MARSは、アクティベーションリセンタによるモダリティの不整合を補正し、幾何的に定義された信頼領域内でステアリング強度を適応的にスケーリングし、最適な介入層を選択する。
論文 参考訳（メタデータ） (2026-06-30T15:57:50Z) - Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection [21.411964269762432]
本稿では,LVLM(Large Vision-Language Models)における安全でないチャネルの診断と修復のための包括的フレームワークを提案する。
まず、安全でない行動に因果的に責任を負うニューロンや層を特定するために、因果媒介分析を行う。
本稿では、視覚的・テキスト的両モードの汎用安全部分空間を学習するデュアルモーダル・セーフティ・サブスペース・プロジェクション法を提案する。
論文 参考訳（メタデータ） (2026-03-28T11:31:16Z) - SAVeS: Steering Safety Judgments in Vision-Language Models via Semantic Cues [50.928203120795786]
本研究では,視覚言語モデルにおけるマルチモーダル安全性の挙動を,単純な意味的手がかりによって評価できるかどうかを考察する。
シーン内容を変更することなく、テキスト、視覚、認知の介入を制御できるセマンティック・ステアリング・フレームワークを導入する。
論文 参考訳（メタデータ） (2026-03-19T16:18:00Z) - GuardAlign: Test-time Safety Alignment in Multimodal Large Language Models [41.839145806211384]
GuardAlignは、大規模なビジョン言語モデルのためのトレーニング不要の防御フレームワークである。
OTにより強化された安全検出は、画像パッチと安全でないセマンティクスの間の分布距離を測定するために最適な輸送を利用する。
クロスモーダルキャリブレーションは、層間の注意を適応的に再配置することにより、安全プレフィックスの影響を強化する。
論文 参考訳（メタデータ） (2026-02-27T13:52:52Z) - Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。
これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。
セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
論文 参考訳（メタデータ） (2026-01-31T13:06:11Z) - A Comparative Evaluation of Large Vision-Language Models for 2D Object Detection under SOTIF Conditions [2.7694879331630182]
本稿では、安全クリティカルな2次元物体検出のためのLVLM(Large Vision-Language Models)を体系的に評価する。
PeSOTIFデータセットは、ロングテール交通シナリオと環境劣化のベンチマークである。
LVLMは複雑な自然シナリオの25%以上をリコールしてYOLOベースラインを上回ります。
論文 参考訳（メタデータ） (2026-01-30T10:58:24Z) - Universal Camouflage Attack on Vision-Language Models for Autonomous Driving [67.34987318443761]
自動運転のためのビジュアル言語モデリングが、有望な研究方向として浮上している。
VLM-ADは、敵の攻撃による深刻なセキュリティ脅威に弱いままである。
VLM-ADのための最初のユニバーサルカモフラージュ攻撃フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-24T14:52:01Z) - Understanding and Rectifying Safety Perception Distortion in VLMs [19.239094089025095]
視覚言語モデル(VLM)は、視覚モダリティを統合した後、有害な要求やジェイルブレイク攻撃の影響を受けやすいものとなる。
マルチモーダル入力は、テキストのみの入力に比べて、モダリティによって誘導されるアクティベーションシフトを"サファー"方向に導入する。
本研究では、モダリティによるアクティベーションシフトを分解・校正し、モダリティの安全性への影響を低減させる訓練自由な手法であるShiftDCを提案する。
論文 参考訳（メタデータ） (2025-02-18T18:06:48Z) - Layer-wise Alignment: Examining Safety Alignment Across Image Encoder Layers in Vision Language Models [24.669936197548427]
一定の層をスキップして早期に退避することで,VLMが有害な応答を発生させる可能性が高まることを示す。
層ワイドマルチモーダルRLHFを実現するために,Clipped-Proximal Policy Optimization (Clip-PPO) アルゴリズムの簡易かつ効果的な修正を提案する。
我々は3つのマルチモーダルデータセットにまたがるL-PPOアルゴリズムを評価し,早期出口による有害性を連続的に低減することを示した。
論文 参考訳（メタデータ） (2024-11-06T22:19:32Z) - SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。
近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。
過大な安全性の懸念を和らげるために,SCANS法を提案する。
論文 参考訳（メタデータ） (2024-08-21T10:01:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。