論文の概要: Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams

• arxiv url: http://arxiv.org/abs/2604.18901v1
• Date: Mon, 20 Apr 2026 23:02:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.534319
• Title: Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams
• Title（参考訳）: LLM残留流の幾何学的に復元可能な特徴としてのハーモフルインテント
• Abstract要約: 有害な意図は、大きな言語モデル残ストリームから幾何的に回復可能である。 我々はこの幾何学を6つの方向決定戦略によって特徴づける。 AdvBenchはホールドアウトのHarmBenchとJailbreakBenchにAUROC 0.96で転送される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Harmful intent is geometrically recoverable from large language model residual streams: as a linear direction in most layers, and as angular deviation in layers where projection methods fail. Across 12 models spanning four architectural families (Qwen2.5, Qwen3.5, Llama-3.2, Gemma-3) and three alignment variants (base, instruction-tuned, abliterated), under single-turn, English evaluation, we characterise this geometry through six direction-finding strategies. Three succeed: a soft-AUC-optimised linear direction reaches mean AUROC 0.98 and TPR@1\%FPR 0.80; a class-mean probe reaches 0.98 and 0.71 at <1ms fitting cost; a supervised angular-deviation strategy reaches AUROC 0.96 and TPR of 0.61 along a representationally distinct direction ($73^\circ$ from projection-based solutions), uniquely sustaining detection in middle layers where projection methods collapse. Detection remains stable across alignment variants, including abliterated models from which refusal has been surgically removed: harmful intent and refusal behaviour are functionally dissociated features of the representation. A direction fitted on AdvBench transfers to held-out HarmBench and JailbreakBench with worst-case AUROC 0.96. The same picture holds at scale: across Qwen3.5 from 0.8B to 9B parameters, AUROC remains $\geq$0.98 and cross-variant transfer stays within 0.018 of own-direction performance This is consistent with a simple account: models acquire a linearly decodable representation of harmful intent as part of general language understanding, and alignment then shapes what they do with such inputs without reorganising the upstream recognition signal. As a practical consequence, AUROC in the 0.97+ regime can substantially overestimate operational detectability; TPR@$1\%$FPR should accompany AUROC in safety-adjacent evaluation.
• Abstract（参考訳）: 多くの層では線形方向として、射影法が失敗する層では角偏差としてである。 4つのアーキテクチャファミリ(Qwen2.5, Qwen3.5, Llama-3.2, Gemma-3)と3つのアライメント変種(ベース, 命令チューニング, 省略)にまたがる12モデルにわたって、単ターンで英語評価を行い、この幾何学を6つの方向決定戦略によって特徴づける。 軟AUC最適化線形方向は平均 AUROC 0.98 と TPR@1\%FPR 0.80 に到達し、クラス平均プローブは<1ms のコストで 0.98 と 0.71 に達する。 異常な意図と拒絶行動は、その表現の機能的に二分した特徴である。 AdvBenchはホールドアウトのHarmBenchとJailbreakBenchにAUROC 0.96で転送される。 0.8Bから9BパラメータまでのQwen3.5で、AUROCは$\geq$0.98のままであり、クロスバリアントトランスファーは0.018の自己指向性能を持つ。 現実的な結果として、0.97以上体制のAUROCは運用上の検出可能性を大幅に過大評価でき、TPR@$1\%$FPRは安全性評価においてAUROCに付随すべきである。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Predictive Memory Localization: Forecasting Selective Intervention Paths from Internal Signals [4.075831906880532]
  本稿では,PML(Predictive Memory Localization)を導入し,メモリローカライゼーションの予測対象として計測グリッド介入経路を取り扱う。 PMLは、ランダムキャリブレーションされた目標運動を、セマンティック近傍と能力的損傷から分離し、静的な局在化と教師あり幾何を、強度に相反する低線量因果応答と比較する。 3つの残留ノルムマッチングベースモデル全体で、学習方向は選択的パスゲインを保持し、低線量応答は0.801-0.828レコード保持マクロAUROCを生成する。
  論文  参考訳（メタデータ） (2026-08-13T07:23:32Z)
• Multimodal Evaluator Preference Collapse: Cross-Modal Contagion in Self-Evolving Agents [1.0152838128195467]
  EPC(Evaluator Preference Collapse)はマルチモーダル環境で劇的に増幅されていることを示す。 次に、クロスモーダル感染と呼ばれる新しい現象を示す。 我々は、モデル間評価器アーキテクチャを優先ドリフトの主なリスク要因とみなす。
  論文  参考訳（メタデータ） (2026-06-15T13:18:20Z)
• MIRAGE: A Polarity-Flipping Encoding Subspace in LLM Agents [2.896184275229374]
  LLMエージェントは機密データを隠蔽的に符号化する。 その結果出力は出力側検出を回避するが、基礎となる計算は行わない。 両信号を利用した2チャンネルリアルタイムモニタであるMIRAGEを構築した。
  論文  参考訳（メタデータ） (2026-06-09T01:45:19Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• FishBack: Pullback Fisher Geometry for Optimal Activation Steering in Transformers [7.108048394322025]
  アクティベーションステアリング法は、出力の振る舞いを制御するために言語モデルの中間表現を変更するが、アクティベーション空間がユークリッドであることを普遍的に仮定する。 モデル自身の出力挙動によって誘導される局所幾何学は、GPT-2上の相対スペクトルノルムにおいて、ユークリッド計量から97%以上逸脱する。
  論文  参考訳（メタデータ） (2026-05-17T03:00:16Z)
• The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
  大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。 これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
  論文  参考訳（メタデータ） (2026-05-09T22:27:31Z)
• Reliable Control-Point Selection for Steering Reasoning in Large Language Models [28.288321095634128]
  ステアリングベクトルは、大規模言語モデルにおける推論動作を制御するためのトレーニング不要のメカニズムを提供する。 しかし、有効なベクトルを構成するには、モデルが隠した状態にある真の行動信号を特定する必要がある。 提案手法は,全ての検出された境界が真の行動信号を符号化していることを暗黙的に仮定して,チェーンオブソートトレースのキーワードマッチングによってこれらの挙動を検出する。 本研究では,コンテキスト依存的なトリガ確率を持つ事象として固有の推論動作を形式化する確率モデルを構築し,不安定な境界が操舵信号を弱めることを示す。
  論文  参考訳（メタデータ） (2026-04-02T14:48:56Z)
• The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams [0.0]
  本研究では,大規模言語モデルにおける残差ストリームアクティベーションの幾何を分析し,有害なプロンプトを検出するためのトレーニング不要な方法であるLatentBiopsyを提案する。 我々はQwen3.5-0.8BファミリーとQwen2.5-0.5Bファミリーの2つの完全モデル三重項を評価した。 latentBiopsyは、有害なvs-ノルミティブ検出のためのAUROC$geq$0.937と、良性攻撃的プロンプトから有害なプロンプトを識別するためのAUROC = 1.000を達成している。
  論文  参考訳（メタデータ） (2026-03-28T21:19:58Z)
• Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement [0.0]
  視覚言語モデルは、それらのテキスト経路が表現できないような幾何学を符号化する。 ロラ微調整(r=16, 2,000枚)は、このギャップを6.5度に縮める。 これらの知見は、単一の凍結したバックボーンがマルチタスク幾何学的センサーとして機能することを可能にした。
  論文  参考訳（メタデータ） (2026-03-06T16:48:27Z)
• The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models [1.45309944076563]
  5つのアーキテクチャファミリから9つのモデルにまたがる正しさの表現を特徴付ける。 我々はアクティベーションステアリングによる因果性評価を行った。 正確性信号は内部に存在するが、出力では表現されない。
  論文  参考訳（メタデータ） (2026-02-08T23:27:10Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Locate and Verify: A Two-Stream Network for Improved Deepfake Detection [33.50963446256726]
  現在のディープフェイク検出法は一般に一般化が不十分である。 本稿では,モデルがエビデンスを抽出する潜在的領域を効果的に拡大する,革新的な2ストリームネットワークを提案する。 また、パッチレベルの偽位置アノテーションを推定するための半教師付きパッチ類似性学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:25:19Z)
• Detecting Rotated Objects as Gaussian Distributions and Its 3-D Generalization [81.29406957201458]
  既存の検出方法は、パラメータ化バウンディングボックス(BBox)を使用して(水平)オブジェクトをモデル化し、検出する。 このような機構は回転検出に有効な回帰損失を構築するのに基本的な限界があると主張する。 回転した物体をガウス分布としてモデル化することを提案する。 2次元から3次元へのアプローチを、方向推定を扱うアルゴリズム設計により拡張する。
  論文  参考訳（メタデータ） (2022-09-22T07:50:48Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Robust 6D Object Pose Estimation by Learning RGB-D Features [59.580366107770764]
  本稿では、この局所最適問題を解くために、回転回帰のための離散連続的な新しい定式化を提案する。 我々はSO(3)の回転アンカーを均一にサンプリングし、各アンカーから目標への制約付き偏差を予測し、最適な予測を選択するための不確実性スコアを出力する。 LINEMOD と YCB-Video の2つのベンチマーク実験により,提案手法が最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-02-29T06:24:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。