論文の概要: A Cross-Architecture Audit of Direction-Based Inference-Time Defences in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.27910v1
• Date: Thu, 30 Jul 2026 09:24:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.48538
• Title: A Cross-Architecture Audit of Direction-Based Inference-Time Defences in Vision-Language Models
• Title（参考訳）: 視覚言語モデルにおける方向ベース推論時間防御のクロスアーキテクチャ監査
• Abstract要約: 視覚言語モデルに対する推論時防御 ジェイルブレイクは、しばしば選択されたデコーダ層における残留ストリームから校正方向を減じる。 15のモデルと4のアーキテクチャファミリのレイヤセルにまたがる5つのディフェンス候補を,等級制御プロトコルで比較した。
• 参考スコア（独自算出の注目度）: 3.6178660238507843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference time defences against vision language model jailbreaks often subtract a calibrated direction from the residual stream at a chosen decoder layer. We compare five defence candidates across 15 model and layer cells from four architectural families under a magnitude controlled protocol that matches the intervention size for each prompt and pairs every direction with a random control of the same norm. The candidates are the mean image conditioning shift, a CMRM style refusal direction, a ShiftDC style attack specific residual, a prompt instruction to ignore the image, and a random control. No single candidate dominates on both refusal recovery and utility preservation. The image conditioning shift leads on LLaVA 1.5 and Pixtral 12B and is the only candidate whose utility loss remains at the measurement noise floor in every family. The prompt instruction leads on Qwen2.5 VL, while the attack specific residual leads on Qwen2 VL 2B. The image conditioning direction is direction specific in 13 of 15 cells, but strongly architecture specific and nontransferable across the only dimension compatible pair, LLaVA 1.5 13B and Pixtral 12B. We also connect text only and multimodal refusal geometry. The CMRM direction has positive cosine alignment with the image conditioning shift in all 15 cells, with mean 0.35, range 0.17 to 0.65, 15 to 25 times the random vector null, and a sign test p value of about 3e-5. These results show that the two recipes recover partially overlapping geometry and that direction based defences should be calibrated separately for each language decoder family.
• Abstract（参考訳）: 視覚言語モデルに対する推論時防御 ジェイルブレイクは、しばしば選択されたデコーダ層における残留ストリームから校正方向を減じる。 我々は,各プロンプトの介入サイズと同一の基準をランダムに制御して,各方向の介入サイズを一致させる等級制御プロトコルの下で,15のモデルと4つのアーキテクチャファミリのレイヤセルの5つのディフェンス候補を比較した。 候補は、平均画像条件シフト、CMRMスタイルの拒絶方向、ShiftDCスタイルの攻撃特定の残差、画像を無視するプロンプト命令、ランダム制御である。 単一候補がリカバリとユーティリティの両面で優位に立つことはない。 イメージコンディショニングシフトはLLaVA 1.5とPixtral 12Bに導かれ、すべての家族の計測ノイズフロアで実用的損失が残る唯一の候補である。 プロンプト命令はQwen2.5 VLに、攻撃特異残基はQwen2 VL 2Bに導かれる。 画像コンディショニング方向は15細胞13に特異的であるが、唯一の寸法互換対であるLLaVA 1.513BとPixtral 12Bに強く構成され、伝達不能である。 また、テキストのみとマルチモーダルな拒絶幾何学を接続する。 CMRM方向は、平均0.35、範囲0.17〜0.65、乱数ベクトルヌルの15〜25倍、符号試験p値約3e〜5の全てのセルにおいて、画像条件シフトと正のコサインアライメントを有する。 これらの結果は、2つのレシピが部分的に重なり合う幾何学を回復し、各言語デコーダファミリーに対して方向に基づく防御を別々に調整すべきであることを示している。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Suppression Sticks, Locality Is Fragile: A Closed-Loop Target-and-Control Audit of Task-Vector Negation in VLA Policies [33.432377306905735]
  タスクベクトル算術は、モデルを修正するためのクローズドフォームな方法を提供するが、クローズドループロボット制御において、その振る舞いの局所性は未だ不明である。 マルチタスク・ビジョン・ランゲージ・アクション(VLA: Multitask Vision-Language-action)ポリシーから,タスク・ベクターごとのタスク・ベクター・サブトラクションのターゲット・アンド・コントロール・監査を行う。
  論文  参考訳（メタデータ） (2026-08-05T10:59:53Z)
• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• From Direction to Magnitude: How Multimodal Instruction-Tuning Reorganizes the Geometric Encoding of Identity-Specifying Prompts in Transformer Hidden States [0.0]
  本研究では、4つのオープンウェイトトランスフォーマー言語モデルの隠れ状態軌跡において、アイデンティティ特定システムが統計的に識別可能な幾何学的指紋を生成するか否かを検討する。 kNN軌跡グラフ上のOllivier-Ricci曲率のエッジワイド間の1-ワッサーシュタイン距離の5つの指標によって、3つの急条件が比較される。
  論文  参考訳（メタデータ） (2026-07-10T17:22:36Z)
• Decodable Is Not Grounded: A Vision-Ablation Arbiter for VLM Spatial Reasoning [48.438568700670835]
  モデルから潜在的知識を読み出す標準的な方法は、視覚言語モデルがイメージに根ざしたものを体系的に上書きすることができる。 本研究では,空間的推論において,一直線因果制御によって露呈した探究と操舵の両方に誤差が見えないことを示す。
  論文  参考訳（メタデータ） (2026-06-30T07:33:18Z)
• Flow Map Denoisers: Traversing the Distortion-Perception Plane for Inverse Problems [48.501415601682815]
  画像復元は基本的なトレードオフに直面している: エラーを最小限に抑える手法はぼやけた再構成を生み出し、知覚的品質を最大化する手法はシャープだが忠実でない画像を生み出す。 フローマップモデルは、歪み知覚フロンティアを連続的に分散する1パラメータのデノイザ群を暗黙的に定義する。 Plug-and-Playソルバ内では、同じメカニズムが一般的な逆問題にまで拡張され、知覚的アライメントとデータの一貫性のトレードオフを制御する。
  論文  参考訳（メタデータ） (2026-06-18T05:15:43Z)
• When Built-in Thinking Helps and Hurts: Constraint-Level Error Shifts in Instruction Following [0.0]
  大規模推論モデル (LRM) は数学や符号化性能を向上することが多いが、その影響は明らかではない。 IFEvalをQwen3モデル(1.7B-32B)で検討する。
  論文  参考訳（メタデータ） (2026-06-08T15:45:04Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Architectural Observability Collapse in Transformers [0.0]
  トレーニングは、出力信頼が露呈しない内部的な意思決定品質のシグナルを保持します。 信頼制御は、平均60.3%の生プローブ信号を6つのファミリーの14モデルで吸収する。 Llama 3.1 8Bは、同じ32層、32頭、4096面の形状で崩壊する。
  論文  参考訳（メタデータ） (2026-04-27T02:39:02Z)
• Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams [0.0]
  有害な意図は、大きな言語モデル残ストリームから幾何的に回復可能である。 我々はこの幾何学を6つの方向決定戦略によって特徴づける。 AdvBenchはホールドアウトのHarmBenchとJailbreakBenchにAUROC 0.96で転送される。
  論文  参考訳（メタデータ） (2026-04-20T23:02:37Z)
• TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from Mixed Datasets [118.22975463000928]
  エージェントが複数の行動ポリシーをロールアウトすることで収集したデータセットから学習する必要があるオフライン強化学習(RL)について考察する。 1) RL信号の最適化と行動クローニング(BC)信号の最適なトレードオフは、異なる行動ポリシーによって引き起こされる行動カバレッジの変化によって異なる状態に変化する。 本稿では,TD3アルゴリズムに基づくBC正規化器として,適応重み付き逆KL(Kulback-Leibler)分散を用いることにより,両課題に対処する。
  論文  参考訳（メタデータ） (2022-12-05T09:36:23Z)
• Calibration of Drive Non-Linearity for Arbitrary-Angle Single-Qubit Gates Using Error Amplification [43.97138136532209]
  キュービットドライブラインコンポーネントの非線形性は、単一キュービットゲートの忠実性に制限を与える。 我々は、コヒーレンス制限エラーが2～4ドル、リークが6～5ドル以下の任意の角度のシングルキュービットゲートを実証する。
  論文  参考訳（メタデータ） (2022-12-02T10:34:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。