論文の概要: Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration
- arxiv url: http://arxiv.org/abs/2608.15772v1
- Date: Sun, 16 Aug 2026 14:47:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.419652
- Title: Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration
- Title(参考訳): LLMの障害シンメトリー:回答はリフレクションよりも局所的
- Abstract要約: 言語モデルがプロンプトに答えることを拒否した場合、正しい答えが内部表現から削除されるか、単に出力層で抑圧されるかは不明確である。
この機構を制御された無条件設定を用いて検討し, 双方向アクティベーションパッチのための完全一致の解答と拒否軌道を導出する。
- 参考スコア(独自算出の注目度): 24.010665397925333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a language model refuses to answer a prompt, it is unclear whether the correct answer is erased from its internal representations, or merely suppressed at the output layer. We investigate this mechanism using a controlled withhold setting, which yields perfectly matched answering and refusal trajectories for bidirectional activation patching. We uncover a causal asymmetry in intervention locality under matched causal interventions, which we term broken symmetry. Even when a model generates a clean refusal, the correct answer remains linearly recoverable from its hidden states. Furthermore, releasing this withheld answer is a highly local operation, requiring only a single-position patch. Conversely, the reverse operation is not equally local: reimposing suppression requires broader interventions across multiple positions, and assembling a coherent refusal sequence is more difficult still. We further demonstrate that while an average answer-to-refusal displacement vector marks the geometric difference between these states, it fails to act as a reliable, reversible linear control toggle between behaviours. Taken together, our findings show that refusal does not function as a simple symmetric switch. For safety and auditing, this implies that probe recoverability can overestimate true behavioural control, and locating refusal-relevant directions does not reliably grant the ability to steer a model from answering to coherent refusal.
- Abstract(参考訳): 言語モデルがプロンプトに答えることを拒否した場合、正しい答えが内部表現から削除されるか、単に出力層で抑圧されるかは不明確である。
この機構を制御された無条件設定を用いて検討し, 双方向アクティベーションパッチのための完全一致の解答と拒否軌道を導出する。
我々は、一致する因果的介入の下での介入局所性の因果非対称性を明らかにする。
モデルがクリーンな拒絶を発生しても、正しい解答はその隠された状態から線形に回復可能である。
さらに、この未解決の回答は、非常に局所的な操作であり、単一の配置パッチのみを必要とする。
逆に、逆操作は等しく局所的ではない:再挿入抑制は複数の位置にわたって広範な介入を必要とし、コヒーレントな拒絶シーケンスの組み立てはより困難である。
さらに, 平均解を求める変位ベクトルはこれらの状態間の幾何的差を示すが, 動作間の線形制御トグルの信頼性, 可逆性として振る舞うことができないことを示す。
以上の結果から,拒絶は単純な対称スイッチとして機能しないことが明らかとなった。
安全と監査のためには、プローブの回復性は真の行動制御を過大評価でき、リファレント関連方向の位置は、モデルがコヒーレントなリファレントなリファレントなリファレントなリファレンスに応答することを確実に得るものではない。
関連論文リスト
- Recognition-Refusal Misalignment in LLMs: Why Models Answer Structurally Unanswerable Questions [3.5960840052850642]
大規模言語モデルは、cot(-540) の計算や (1).startswith("1") の評価など、構造的に解決不可能な疑問に答えることが多い。
この失敗は、認識の欠如を反映しているか、認識から棄権へのルーティングに失敗するかを問う。
1.7Bから70Bパラメータの命令調整されたモデル全体で、隠れた状態の1つの線形方向は、構造的に不可能な数学とコードプロンプトとを分離する。
論文 参考訳(メタデータ) (2026-08-29T07:38:17Z) - THESIS-MoE: Trainable Hierarchical Extraction and SteerIng of Sycophancy in Mixture-of-Experts [0.300988853836121]
言語モデルがユーザの信念に合うように回答を変更する傾向にあるシコファシー(Sycophancy)は、一般的なアライメント障害である。
我々は、薬局がどこに住んでいるかを識別する、一致したプロンプトから構築された、共有されたコントラスト信号を導入する。
以上の結果から, サイコファンシーは同定可能な計算サブ回路内に存在し, 選択的に操舵できることが示された。
論文 参考訳(メタデータ) (2026-08-16T11:30:26Z) - Actionable Hallucination Detection: Translating Latent Uncertainty into Agentic Critique [1.1172382217477128]
AIエージェントとしてデプロイされるLarge Language Models (LLM)は、しばしばユーザ仕様のグラウンド障害を示す。
既存の検出方法は、幻覚をローカライズしないか、禁忌の推論遅延を発生しないため、実行可能でリアルタイムな修正を提供することができない。
フリーズベースLCM世代と並行して動作する軽量低ランクアダプタ(LoRA)であるLatent Criticを導入する。
論文 参考訳(メタデータ) (2026-08-11T03:26:16Z) - Decodable Is Not Grounded: A Vision-Ablation Arbiter for VLM Spatial Reasoning [48.438568700670835]
モデルから潜在的知識を読み出す標準的な方法は、視覚言語モデルがイメージに根ざしたものを体系的に上書きすることができる。
本研究では,空間的推論において,一直線因果制御によって露呈した探究と操舵の両方に誤差が見えないことを示す。
論文 参考訳(メタデータ) (2026-06-30T07:33:18Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳(メタデータ) (2026-06-19T06:04:17Z) - The Need for an External Observer Formalizing the Sufficiency Gap: A Mathematical Extension of Mixture Identifiability and Contextual Grounding in Sequence Models [0.0]
我々は、決定論的テキスト構造と、保存されていない潜在状態によって支配される1つのランダム構造を持つ2元混合登録プロセスを構築した。
結果として生じるエントロピー差は通常の最適化誤差ではない。
補正信号は、その忠実度が誤解を招く状態に割り当てられたテキストのみの後方重みを超えると、テキスト履歴によって引き起こされる後続のオッズを正確に反転させる。
論文 参考訳(メタデータ) (2026-05-26T08:53:11Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳(メタデータ) (2026-04-21T15:05:58Z) - Over-Refusal and Representation Subspaces: A Mechanistic Analysis of Task-Conditioned Refusal in Aligned LLMs [16.594400974742523]
有害な要求を拒否するように訓練されたアライメント言語モデルもまた、過剰な拒絶を示す。
有害な拒絶方向はタスク非依存であり、一方、過剰な拒絶方向はタスク依存であるのに対し、単一のグローバルベクトルによって捕捉可能であることを示す。
論文 参考訳(メタデータ) (2026-03-29T04:53:40Z) - On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
このような情報条件の相互作用パターンを振る舞い依存として定式化する。
これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。
その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
論文 参考訳(メタデータ) (2026-02-24T22:55:21Z) - Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳(メタデータ) (2026-01-22T07:16:26Z) - Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。
我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
論文 参考訳(メタデータ) (2025-12-01T23:06:56Z) - The Geometry of Refusal in Large Language Models: Concept Cones and Representational Independence [57.57786477441956]
以前の研究は、モデルのアクティベーション空間における1つの拒絶方向が、LCMが要求を拒否するかどうかを決定することを示唆している。
本稿では,表現工学における勾配に基づく新しい手法を提案し,それを用いて拒絶方向を同定する。
LLMの拒絶機構は複雑な空間構造によって制御され、機能的に独立な方向を識別する。
論文 参考訳(メタデータ) (2025-02-24T18:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。