論文の概要: Leverage Is Not Reach: A Control-Window Law for Single-Neuron Steering in Language Models

• arxiv url: http://arxiv.org/abs/2606.19831v1
• Date: Thu, 18 Jun 2026 06:25:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.682178
• Title: Leverage Is Not Reach: A Control-Window Law for Single-Neuron Steering in Language Models
• Title（参考訳）: Leverageは到達しない - 言語モデルにおけるシングルネオンステアリングの制御-ウィンドウ法
• Authors: Hongliang Liu,
• Abstract要約: 我々は単一ニューロンステアリングのための予算正規化制御ウィンドウフレームワークを開発した。 1つの書き込み方向に沿った線量も1つの制御座標に減少する。 コヒーレント制御は、行動トリガーが崩壊天井の下にあるときに存在する。
• 参考スコア（独自算出の注目度）: 1.7259824817932294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aligned language models gate behaviors such as refusal and language routing through sparse feed forward neurons, yet no theory predicts when a single neuron intervention controls a behavior coherently rather than collapsing the output. We develop a budget normalized control window framework for single neuron steering. A dose along one write direction reduces to one control coordinate: the alignment between the residual stream and the write, driven along a universal saturation curve in units of a coherence budget set by the residual norm divided by the write norm. Coherent control exists when a behavior trigger lies below the collapse ceiling. The same coordinate governs benign mode switches and refusal; the ceiling follows from weights and one generic forward pass, while triggers are measured at rollout. On fifteen held out neurons, the predicted ceiling has mean absolute error 0.14, about 0.07 in bulk layers, and the committed open or closed verdict holds on eleven against a ten of fifteen majority baseline. Closed cases expose three failure modes rather than violations: collapse before trigger, too little depth to propagate, or a normalization that caps how far one neuron can push. The law explains why local gradient attribution anti predicts control: true controllers write off the readout axis and carry a near zero first order gradient. A forward only contrastive screen made precise by the window recovers controllers that attribution misses. On refusal, the hardest case, intervention success is typed, not scalar: coherent bypass and strict actionable reach separate, so a neuron can flip refusal in fluent, on task text with no actionable content, and genuine actionable reach appears only for three of six audited Llama pivots and only at later rollout horizons. Single neuron steering is therefore a budgeted, typed audit of controllability rather than a fixed dose anecdote.
• Abstract（参考訳）: 調整された言語モデルでは、拒絶や言語ルーティングのようなゲートの動作が前方のニューロンに伝達されるが、単一ニューロンの介入が出力を崩壊させるのではなく、協調的に行動を制御すると予測する理論はない。 我々は単一ニューロンステアリングのための予算正規化制御ウィンドウフレームワークを開発した。 1つの書き込み方向に沿った線量量は、1つの制御座標に減少する:残留ストリームと書き込みとの間のアライメントは、書き込み基準によって分割された残留ノルムによって設定されたコヒーレンス予算の単位の普遍飽和曲線に沿って駆動される。 コヒーレント制御は、行動トリガーが崩壊天井の下にあるときに存在する。 天井は重みと1つの一般的な前方通過から続き、引き金はロールアウト時に測定される。 15個のホールドアウトニューロンでは、予測された天井は絶対誤差0.14、バルク層約0.07であり、コミットされたオープンまたはクローズドの判定は15のベースラインのうち10のベースラインに対して11に保持される。 クローズドケースは、障害ではなく、3つの障害モードを露呈する。トリガー前の崩壊、伝播する深さが小さすぎること、または1つのニューロンがどれだけ押すことができるかの正規化である。 この法則は、局所勾配帰属が制御を予測する理由を説明している:真のコントローラは読み出し軸から書き出し、ほぼゼロの1次勾配を運ぶ。 ウィンドウによって正確になされたフォワード唯一のコントラストスクリーンは、属性が見逃すコントローラを復元する。 最も難しい場合は、介入の成功はスカラーではなくタイプされる: コヒーレントバイパスと厳密な作用可能な到達は別々に行われるので、ニューロンは、動作可能な内容のないタスクテキスト上で、リフレクションを流れることができ、真の作用可能な到達は6つの監査済みラマピボットのうち3つだけにしか現れず、その後のロールアウト水平線でのみ現れる。 したがって、単一ニューロンのステアリングは固定線量逸話ではなく、予算化された型付けされた制御性監査である。

関連論文リスト

• Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
  大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。 既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。 記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
  論文  参考訳（メタデータ） (2026-06-17T07:29:18Z)
• Targeted Neuron Modulation via Contrastive Pair Search [0.0]
  ニューロンレベルの介入は、残留ストリーム法の品質トレードオフを伴わずに、信頼性の高い行動ステアリングを可能にする。 ベースモデルにも同様な遅延層識別構造があることがわかったが、これらのニューロンの操舵は内容シフトのみを生成する。 より広範に,アライメント微調整は,既存の識別構造をスパースかつターゲット可能な拒絶ゲートに変換することを示唆している。
  論文  参考訳（メタデータ） (2026-05-12T15:47:38Z)
• Neuron-Anchored Rule Extraction for Large Language Models via Contrastive Hierarchical Ablation [5.880505093493663]
  説明可能なAI(XAI)の重要な目標は、大きな言語モデル(LLM)の決定ロジックを象徴的な形で表現することである。 我々は、アゴニストと呼ばれるスパースニューロンを効率よく局在させることにより、LSM回路における規則抽出を基礎とするパイプラインであるMechaRuleを紹介する。
  論文  参考訳（メタデータ） (2026-05-04T18:27:37Z)
• How Alignment Routes: Localizing, Scaling, and Controlling Policy Circuits in Language Models [0.0]
  本稿では,アライメント学習言語モデルにおけるポリシールーティング機構のローカライズを行う。 中間層アテンションゲートは検出された内容を読み出し、深いヘッドをトリガーし、信号が拒絶に向かって押し上げられる。
  論文  参考訳（メタデータ） (2026-04-06T03:20:37Z)
• Detection Is Cheap, Routing Is Learned: Why Refusal-Based Alignment Evaluation Fails [0.0]
  自然実験として、中国語・オリジン語モデルにおける政治的検閲について研究する。 5つの実験室の9つのオープンウェイトモデルに対して、プローブ、外科的改善、行動テストを使用します。
  論文  参考訳（メタデータ） (2026-03-18T20:54:34Z)
• On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
  このような情報条件の相互作用パターンを振る舞い依存として定式化する。 これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。 その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
  論文  参考訳（メタデータ） (2026-02-24T22:55:21Z)
• Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
  本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。 我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
  論文  参考訳（メタデータ） (2025-12-01T23:06:56Z)
• Population Dynamics Control with Partial Observations [4.753557469026313]
  オンラインの非確率的制御の観点から,人口動態の制御の問題について検討する。 我々の主な貢献は、線形動的コントローラを混合する自然なクラスに関して、最適$tildeO(sqrtT)$ regretを達成する新しいコントローラである。
  論文  参考訳（メタデータ） (2025-02-19T20:07:56Z)
• Neuro-Symbolic Entropy Regularization [78.16196949641079]
  構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。 エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。 我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-25T06:23:10Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Red Alarm for Pre-trained Models: Universal Vulnerability to Neuron-Level Backdoor Attacks [98.15243373574518]
  事前訓練されたモデル(PTM)は、下流の様々なタスクで広く使われている。 本研究では,バックドアアタックによって微調整されたPTMを容易に制御できるPTMの普遍的脆弱性を実証する。
  論文  参考訳（メタデータ） (2021-01-18T10:18:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。