論文の概要: DANGERLENS: Probing Dangerous Representations Hidden by Safety Alignment

• arxiv url: http://arxiv.org/abs/2610.19365v1
• Date: Wed, 14 Oct 2026 01:10:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.867738
• Title: DANGERLENS: Probing Dangerous Representations Hidden by Safety Alignment
• Title（参考訳）: DANGERLENS:安全アライメントに隠された危険な表現を調査中
• Abstract要約: 安全アライメントは、言語モデルに有害な要求を拒否するように教えるが、有害な概念の内部的なアクセシビリティは、初期のトレーニングの痕跡を保持することができる。 DANGERLENSは,隠れた状態を語彙空間にマッピングし,視覚的意味判断を用いて有害な目標と操作手段を識別するプローブである。
• 参考スコア（独自算出の注目度）: 15.61843940131069
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety alignment teaches language models to refuse harmful requests, yet the internal accessibility of hazardous concepts can retain traces of earlier training. Can checkpoints with equally safe behavior differ in what remains accessible behind their refusals? In this work, we investigate this question through paired training histories and a direct audit of intermediate representations. We introduce DANGERLENS, a probe that maps hidden states into vocabulary space and uses blinded semantic judgments to distinguish harmful goals and operational means from hazard recognition and safety control. Experiments on three Qwen1.5 scales show that checkpoints with prior harmful exposure generally retain greater hazardous concept accessibility after the same safety alignment, with the strongest separation in intermediate and later layers. The same harmful update also produces different behavioral trajectories from closely matched starting points. Human relevance validation and readout ablations reinforce the measured accessibility contrast. Our findings show that training history remains visible inside behaviorally matched models and motivate internal accessibility audits alongside output safety evaluations.
• Abstract（参考訳）: 安全アライメントは、言語モデルに有害な要求を拒否するように教えるが、有害な概念の内部的なアクセシビリティは、初期のトレーニングの痕跡を保持することができる。 同じように安全な振る舞いを持つチェックポイントは、拒否の裏でアクセス可能なものによって異なっていますか? 本研究では,この課題を,ペア付きトレーニング履歴と中間表現の直接監査を通じて検討する。 DANGERLENSは,隠れた状態を語彙空間にマッピングし,有害な目標と運用手段をハザード認識と安全管理から区別するために視覚的意味判断を用いるプローブである。 3つのQwen1.5スケールの実験では、事前の有害暴露によるチェックポイントは、通常、同じ安全アライメントの後、より危険な概念アクセシビリティを保持し、中間層と後層の分離が最強であることが示されている。 同じ有害なアップデートは、密接にマッチした開始点から異なる行動軌跡を生成する。 人間の関連性検証と読み出しアブレーションは、測定されたアクセシビリティのコントラストを強化する。 本研究は, 行動整合モデルの内部にトレーニング履歴が残っており, 出力安全性評価とともに内部アクセシビリティ監査を動機付けていることを示す。

関連論文リスト

• Reading, Not Manipulating: Leveraging Router Logits for Multimodal Safety in MoE Vision-Language Models [51.95643874494937]
  視覚言語モデル(VLM)は、視覚的入力とテキスト入力の相互作用から有害な意図が生じるような構成上の安全リスクに直面している。 本稿では,プロンプトプリフィル中のルーティング信号を読み出し,生成前の安全でない要求を識別する軽量なルータログ安全検出器を提案する。
  論文  参考訳（メタデータ） (2026-10-06T05:09:02Z)
• From Latent Space to Jacobian Space: Measuring, Evading, and Training Against Safety-Content Accessibility [0.0]
  安全監視はモデルの計算の終端のみを検知するが、モデルはその解を出力する前に計算する。 隠れ状態から出力ボキャブラリへのモデル入力出力ジャコビアンによる線形写像であるジャコビアン空間の読み出しは、行動的にアクセス可能な内部内容の窓として提案されている。 不明なのは、このアクセス可能なコンテンツが、表現工学によって研究された潜在空間の安全幾何とどのように関係し、安全訓練がそれをどのように形作るかである。
  論文  参考訳（メタデータ） (2026-10-03T06:05:40Z)
• Beyond Routine Compliance: Cunning Data Cultivates Safety Vigilance in Large Language Models [13.286950013891635]
  安全アライメントは、大きな言語モデルに有害な要求を認識し、リスクのある指示を拒否するように教える。 我々は、必ずしも安全に関するものではなく、誤解を招く前提を含む、textbfcunning質問を導入する。 実験により、カニングトレーニングは、分配不能のジェイルブレイク攻撃に対する堅牢性を改善し、その後の安全性の微調整を強化することが示されている。
  論文  参考訳（メタデータ） (2026-09-16T11:46:48Z)
• When Safety Overrides Vision: Exploring Dynamics between Vision Influence and Safety Alignment in Vision-Language Models [20.327656782568923]
  視覚言語モデル(VLM)は、基底的視覚推論と安全な生成行動のバランスをとるように設計されている。 安全性に制約のある命令の下では、モデルはしばしばデフォルトの命令の下で正しく答えられる質問への応答を控える。 これは基本的な疑問を提起する: 安全アライメントは知覚的接地自体を抑制するのか、あるいは世代が棄権に向けてリダイレクトされる間、視覚的証拠は内部で利用可能か?
  論文  参考訳（メタデータ） (2026-08-19T07:22:15Z)
• SAVeS: Steering Safety Judgments in Vision-Language Models via Semantic Cues [50.928203120795786]
  本研究では,視覚言語モデルにおけるマルチモーダル安全性の挙動を,単純な意味的手がかりによって評価できるかどうかを考察する。 シーン内容を変更することなく、テキスト、視覚、認知の介入を制御できるセマンティック・ステアリング・フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-03-19T16:18:00Z)
• When Should We Introduce Safety Interventions During Pretraining? [100.3502954292386]
  先行研究は、有害な内容の表現などの事前訓練の介入が、結果のモデルの安全性を大幅に向上させることを示した。 介入の導入は一般的に、過度な拒絶率の増加を伴わない、より堅牢なモデルをもたらす。 また、より安全な世代に向けたモデルのステアビリティにも明らかなメリットがあると考えています。
  論文  参考訳（メタデータ） (2026-01-11T22:38:17Z)
• GuardTrace-VL: Detecting Unsafe Multimodel Reasoning via Iterative Safety Supervision [47.99880677909197]
  GuardTrace-VLは、共同画像テキスト分析を通じてQTAパイプライン全体を監視する、視覚対応の安全監査ツールである。 本研究では,データ修正プロセスと組み合わさった3段階のプログレッシブトレーニング手法を提案する。 提案したテストセットでは、ドメイン内シナリオとドメイン外シナリオの両方を対象として、安全でない推論検出タスクにおいて、GuardTrace-VLモデルがF1スコア93.1%を達成した。
  論文  参考訳（メタデータ） (2025-11-26T02:49:51Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• Safety Subspaces are Not Linearly Distinct: A Fine-Tuning Case Study [10.17362679822278]
  大規模言語モデルは社会的に許容できる応答を生成するために安全アライメントに依存している。 増大する作業体は、アライメントが重量空間における識別可能な方向に対応する可能性があることを示唆している。 安全性はモデルの一般的な学習要素と強く結びついていることが示される。
  論文  参考訳（メタデータ） (2025-05-20T10:41:49Z)
• Safe Vision-Language Models via Unsafe Weights Manipulation [75.04426753720551]
  我々は、異なるレベルの粒度で安全性を評価する新しい指標セットであるSafe-Groundを導入し、安全性の評価を見直した。 我々は異なる方向を採り、トレーニングなしでモデルをより安全にできるかどうかを探り、Unsafe Weights Manipulation (UWM)を導入します。 UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。
  論文  参考訳（メタデータ） (2025-03-14T17:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。