論文の概要: SteerProbe: Learning to Bypass Safety Steering in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2609.39117v1
- Date: Wed, 30 Sep 2026 06:53:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.298626
- Title: SteerProbe: Learning to Bypass Safety Steering in Vision-Language Models
- Title（参考訳）: SteerProbe: ビジョンランゲージモデルにおける安全ステアリング回避学習
- Abstract要約: アクティベーションステアリングは視覚言語モデル(VLM)の推論時防御を提供する
本研究の目的は, テキスト, ビジュアル, 共同改定によるギャップについて検討することである。
出力のみのブラックボックス攻撃であるSteerProbeを導入する。
- 参考スコア（独自算出の注目度）: 16.722523246345602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Activation steering offers an inference-time defense for vision--language models (VLMs) by modifying intermediate representations without updating backbone parameters. However, protection on benchmark inputs may not persist across alternative expressions of the same harmful request. We investigate this gap using fixed textual, visual, and joint reformulations designed to preserve the underlying intent, and find that these changes can bypass representative steering defenses. A complementary local analysis provides a sufficient condition under which a reformulation can cross a surrogate safety margin despite any admissible change in the local steering correction. We then introduce SteerProbe, an output-only black-box attack that learns to select effective reformulations for unseen requests from a shared calibration budget. Across three VLM backbones, two benchmarks, and three steering defenses, SteerProbe increases Harmful Rate in all defended settings using 500 total calibration queries per endpoint and benchmark, raising the average from 7.43% to 18.36%. These findings highlight that robustness on original benchmark inputs is insufficient to characterize the safety of steering defenses and motivate reformulation robustness as an important evaluation dimension. They further motivate steering mechanisms that preserve safety across intent-preserving multimodal variations while maintaining benign utility.
- Abstract（参考訳）: アクティベーションステアリングは、バックボーンパラメータを更新することなく中間表現を変更することで、視覚言語モデル(VLM)に対する推論時防御を提供する。
しかし、ベンチマーク入力に対する保護は、同じ有害な要求の代替表現を越えては持続しないかもしれない。
本研究は, テキスト, 視覚, 共同改定を基本意図の維持に用いて, このギャップを解明し, 代表的操舵防御を回避できることを見出した。
補完的な局所分析は、局所的なステアリング補正が許容できる変化にもかかわらず、改革がサロゲート安全マージンを越えられる十分な条件を提供する。
出力のみのブラックボックス攻撃であるSteerProbeを導入し、共有キャリブレーション予算から見当たらない要求に対する効果的な修正を選択することを学習する。
3つのVLMバックボーン、2つのベンチマーク、3つのステアリングディフェンスで、SteerProbeはエンドポイント毎の500のキャリブレーションクエリを使用して、すべての防御された設定においてハーモフルレートを向上し、平均は7.43%から18.36%に上昇した。
これらの結果から, 元のベンチマーク入力に対するロバスト性は, ステアリングディフェンスの安全性を特徴づけるには不十分であり, 重要な評価次元として改革ロバスト性を動機付けるには不十分であることが示唆された。
さらに、良質な実用性を維持しつつ、意図的に保存されるマルチモーダルなバリエーションの安全を維持するステアリング機構を動機付けている。
関連論文リスト
- When Do Model Internals Help? Exploring the Role of Representation Engineering in LLM Safety [34.05875226612676]
安全管理と安全監視のための表現工学の整合性評価について述べる。
安全管理のために,DPOと3つの表現ステアリング法を比較し,ロバスト性,実用性,粒度を比較検討した。
安全監視のために、我々は表現プローブを全応答検出、早期検出、計算コストで微調整およびオープンウェイトなテキストモニターと比較する。
論文 参考訳（メタデータ） (2026-09-28T09:50:08Z) - STR: Supervised Transcoder Replacement for Reducing Steering Side Effects [9.509326860665476]
Supervised Transcoder Replacement (STR)は、ステアリング層における多層パーセプトロン(MLP)計算の置き換えを学習する。
GemmaモデルとLlamaモデルにおける3つのステアリング手法について,信頼性選好と有害な4つの安全データセットを用いて評価した。
論文 参考訳（メタデータ） (2026-09-26T12:03:39Z) - EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models [3.659020283346239]
VLM安全性のためのエビデンス基盤フレームワークであるEviSafeを紹介する。
自然なユーザ向け行動、テキストおよび視覚的証拠の明確な根拠、および反事実的変化に対する行動感受性を共同で評価する。
EviSafeBenchは、フレームワークを1,181金の画像テキストシナリオで制御されたベンチマークとしてインスタンス化する。
論文 参考訳（メタデータ） (2026-08-24T14:32:25Z) - Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。
既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。
安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
論文 参考訳（メタデータ） (2026-05-14T12:13:08Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。
我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。
本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
論文 参考訳（メタデータ） (2026-03-10T14:16:43Z) - Think-Reflect-Revise: A Policy-Guided Reflective Framework for Safety Alignment in Large Vision Language Models [58.17589701432514]
Think-Reflect-Revise (TRR)は、LVLM(Large Vision Language Models)の安全性向上を目的としたトレーニングフレームワークである。
まず、リフレクティブセーフティ推論(ReSafe)データセットを5000の例で構築し、シンク・リフレクティブ・リフレクティブ・プロセスに従っています。
次に、ReSafeデータセットを用いてターゲットモデルを微調整し、反射行動の初期化を行い、最後に強化学習を通じてポリシー誘導反射を強化する。
論文 参考訳（メタデータ） (2025-12-08T03:46:03Z) - LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。
本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
論文 参考訳（メタデータ） (2025-09-24T07:31:54Z) - Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking [54.10710423370126]
本稿では,大規模言語モデルの生成プロセスに安全性を考慮した推論機構を統合する訓練パラダイムであるReasoning-to-Defend(R2D)を提案する。
CPOは、与えられた対話の安全性に対するモデルの認識を高める。
実験によると、R2Dは様々な攻撃を効果的に軽減し、元の性能を維持しながら全体の安全性を向上させる。
論文 参考訳（メタデータ） (2025-02-18T15:48:46Z) - Internal Activation Revision: Safeguarding Vision Language Models Without Parameter Update [8.739132798784777]
視覚言語モデル(VLM)は、強いマルチモーダル能力を示すが、有害なコンテンツを生成する可能性が高い。
本稿では,世代ごとのアクティベーションを効率的に修正するテクスブファイナル・アクティベーション・リビジョン・アプローチを提案する。
我々のフレームワークはレイヤーレベルとヘッドレベルの両方のリビジョンを組み込んでおり、モデルの生成を様々なレベルの粒度で制御する。
論文 参考訳（メタデータ） (2025-01-24T06:17:22Z) - Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。
DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
論文 参考訳（メタデータ） (2024-07-12T09:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。