論文の概要: From Latent Space to Jacobian Space: Measuring, Evading, and Training Against Safety-Content Accessibility

• arxiv url: http://arxiv.org/abs/2610.04316v1
• Date: Sat, 03 Oct 2026 06:05:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 11:33:47.887704
• Title: From Latent Space to Jacobian Space: Measuring, Evading, and Training Against Safety-Content Accessibility
• Title（参考訳）: 潜在空間からジャコビアン空間へ:安全コンテンツアクセシビリティに対する測定・評価・訓練
• Abstract要約: 安全監視はモデルの計算の終端のみを検知するが、モデルはその解を出力する前に計算する。 隠れ状態から出力ボキャブラリへのモデル入力出力ジャコビアンによる線形写像であるジャコビアン空間の読み出しは、行動的にアクセス可能な内部内容の窓として提案されている。 不明なのは、このアクセス可能なコンテンツが、表現工学によって研究された潜在空間の安全幾何とどのように関係し、安全訓練がそれをどのように形作るかである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Output-only safety monitoring sees only the end of a model's computation, yet the model computes its answer before emitting it: what it is internally poised to say is safety-critical. Jacobian-space (J-space) readouts, linear maps from hidden states to the output vocabulary via the model's input-output Jacobian, have been proposed as a window on behaviorally accessible internal content, and a first safety protocol (JADR) showed that danger recognition is readable there. What remains unknown is how this accessible content relates to the latent-space safety geometry studied by representation engineering, and how safety training shapes it. We introduce two quantitative bridges: (i) a transport-amplification profile $A_\ell$, measuring how strongly a latent safety direction is carried toward output space by each layer's Jacobian, and (ii) a paired base-vs-tuned protocol that attributes accessibility to training provenance. Across four small model pairs (135M to 1.5B, three lens-fit seeds), tuned checkpoints concentrate recognition in upper-middle layers, and at 0.5B DPO installs refusal while J-space recognition drops to chance: training can widen the accessibility gap exactly where behavioral safety looks best. A deployment audit closes the loop: monitor-aware GCG-style suffixes suppress the prompt-side monitor at zero behavioral cost at every scale; only a learned monitor rung resists its own adaptive re-attack; the training-time defense fails its re-attack at every penalty weight; steering shows the amplification profile is descriptive, not causal; and continuous-prefix optimization fails where discrete search succeeds. Safety monitoring, training, and evaluation must operate on accessibility itself, not on outputs alone.
• Abstract（参考訳）: アウトプットのみの安全性監視は、モデルの計算の終わりしか見ていないが、モデルを出力する前にその答えを計算する。 Jacobian-space (J-space)readouts, linear map from hidden state to the output vocabulary through the model's input-output Jacobian has been proposed as a window on behaviorally access inside content, and a first safety protocol (JADR) showed to readable there。 不明なのは、このアクセス可能なコンテンツが、表現工学によって研究された潜在空間の安全幾何とどのように関係し、安全訓練がそれをどのように形作るかである。 定量的な橋を2つ導入する。 一 輸送増幅プロファイル$A_\ell$、各層のジャコビアンによる出力空間への潜伏安全方向の強み、及び (ii) トレーニング証明に対するアクセシビリティを属性とする、ベースvs指定のペアプロトコル。 4つの小さなモデルペア(135Mから1.5B、3つのレンズ適合シード)にまたがって、調整されたチェックポイントが上中層層に集中的に認識され、0.5B DPOでは拒否がインストールされ、J空間認識はチャンスに落ちる。 監視対応GCGスタイルのサフィックスは、すべてのスケールでプロンプト側モニターをゼロの動作コストで抑制する; 学習されたモニターラングだけが、自身の適応的な再攻撃に抵抗する; トレーニング時の防御は、すべてのペナルティ重みで再攻撃を失敗する; ステアリングは、増幅プロファイルが説明的であり、因果的ではない; 連続修正最適化は、離散検索が成功する場合に失敗する。 安全監視、トレーニング、評価は、出力のみではなく、アクセシビリティ自身で行う必要がある。

関連論文リスト

• Local Sparsity Enables Unsupervised LLM Safety Detection [72.36186449615774]
  大規模言語モデル(LLM)のデプロイ時の安全性メソッドは、主に教師付きであり、安全でないトレーニングデータへのアクセスを前提としている。 新たな攻撃や危害のカテゴリーは定期的に発生し、そのような教師付き方式で訓練されたモデルでは捕捉されない。 本稿では,理論的正当性に支えられた局所的なSAEによる異常検出のための枠組みを提案する。
  論文  参考訳（メタデータ） (2026-09-17T12:23:04Z)
• SafeCA: Safe Cross-Attention Localization and Regulation for Text-to-Video Jailbreak Defense [77.70598852234149]
  テキスト・トゥ・ビデオ(T2V)生成モデルは、現実世界のデプロイにおいてジェイルブレイク攻撃に対して脆弱である。 安全なクロスアテンション・ローカライゼーションと正規化のための機能レベル防衛機構であるSafeCAを提案する。 実験の結果、SafeCAは主流のT2Vモデルでジェイルブレイクの成功率を約20%削減することが示された。
  論文  参考訳（メタデータ） (2026-08-11T14:01:24Z)
• The Geometry of Refusal: Linear Instability in Safety-Aligned LLMs [1.4323566945483497]
  我々は、"拒絶方向"を分離するゼロ最適化フレームワークであるContrastive Logit Steering (CLS)を紹介した。 CLSは出力分布を直接操作し、アライメントの診断プローブとして機能する。 7つのモデルファミリーに関する実験により、安全実装がアーキテクチャ上決定論的であることが判明した。
  論文  参考訳（メタデータ） (2026-06-21T22:04:48Z)
• Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation [52.122731171289665]
  クロスモデル安全ステアリングのための最初のフレームワークを紹介する。 私たちのパイプラインは、ターゲット側の安全でないデータにアクセスしません。 多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
  論文  参考訳（メタデータ） (2026-06-03T18:00:04Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Formation-Aware Adaptive Conformalized Perception for Safe Leader-Follower Multi-Robot Systems [3.2334188372270654]
  異所性知覚の誤りと、形成操作と可視性制約の結合により、安全は困難である。 本稿では,リスク対応モンドリアンCPに基づく分散型適応型コンフォメーション予測手法を提案する。
  論文  参考訳（メタデータ） (2026-03-09T21:44:20Z)
• Probing the Robustness of Large Language Models Safety to Latent Perturbations [30.16804362984161]
  安全アライメントは、信頼できる人工知能を構築する上で重要な要件である。 我々は、小さな潜伏シフトが、整列モデルにおける安全でない応答を引き起こすことを観察する。 学習中に隠された表現に制御された摂動を注入する微調整戦略であるLayer-wise Adversarial Patch Training (LAPT)を導入する。
  論文  参考訳（メタデータ） (2025-06-19T07:03:05Z)
• Safety Subspaces are Not Linearly Distinct: A Fine-Tuning Case Study [10.17362679822278]
  大規模言語モデルは社会的に許容できる応答を生成するために安全アライメントに依存している。 増大する作業体は、アライメントが重量空間における識別可能な方向に対応する可能性があることを示唆している。 安全性はモデルの一般的な学習要素と強く結びついていることが示される。
  論文  参考訳（メタデータ） (2025-05-20T10:41:49Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。