論文の概要: CANS: Capability-Preserving Neuron Steering for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.35530v1
• Date: Mon, 26 Oct 2026 14:45:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.036216
• Title: CANS: Capability-Preserving Neuron Steering for Large Language Models
• Title（参考訳）: CANS:大規模言語モデルのための機能保存型ニューロンステアリング
• Abstract要約: アクティベーションステアリング(Activation steering)は、大規模言語モデルにおける目標行動のトレーニング不要かつ動的制御を提供する。 本稿では、目標行動制御と能力保存のバランスをとる統合フレームワークであるCANS(Capability-Preserving Neuron Steering)を紹介する。
• 参考スコア（独自算出の注目度）: 29.584702553078372
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation steering offers training-free and dynamic control of target behaviors in large language models, but existing methods can impair general capabilities and require domain-specific intervention designs. We introduce Capability-Preserving Neuron Steering (CANS), a unified framework that balances target-behavior control with capability preservation. To make target-behavior improvement and general-capability preservation tractable, we introduce two proxies: log-probabilities of target tokens in model generated responses, and output-distribution KL divergence on general-purpose inputs. Combining the local approximation of the two proxies yields a closed-form solution, enabling lightweight steering without iterative model training or additional inference-time computation. The resulting neuron-wise scaling coefficients achieve effective steering while limiting general-capability loss. A shared data-construction and intervention procedure supports adaptation across domains using sampled responses with target-behavior filtering and target-span annotations. Across safety, toxicity, and hallucination control on Qwen and Llama models, CANS achieves comparable or better steering while better preserving MMLU, BBH, and IFEval performance than SFT, CAA, and neuron-level baselines. On Qwen3-4B, CANS reduces HarmBench attack success from $15.50\%$ to $1.75\%$ with a $1.11$-point decrease in average capability. These results support CANS as a practical approach to behavioral control across domains.
• Abstract（参考訳）: アクティベーションステアリング(Activation steering)は、大規模言語モデルにおける目標動作のトレーニング不要かつ動的制御を提供するが、既存の手法は一般的な能力を損なう可能性があり、ドメイン固有の介入設計を必要とする。 本稿では、目標行動制御と能力保存のバランスをとる統合フレームワークであるCANS(Capability-Preserving Neuron Steering)を紹介する。 目標行動改善と汎用性維持を両立させるため,モデル生成応答における目標トークンの対数確率と汎用入力に対する出力分布KL分散という2つのプロキシを導入する。 2つのプロキシの局所近似を組み合わせることで、クローズドフォームのソリューションが得られ、反復モデルトレーニングや追加の推論時間計算なしで軽量なステアリングが可能になる。 結果として生じるニューロンのスケーリング係数は、一般的な能力損失を抑えながら効果的なステアリングを実現する。 共有データ構築と介入手順は、ターゲットビヘイビアフィルタリングとターゲットスパンアノテーションを用いたサンプル応答を使用して、ドメイン間の適応をサポートする。 安全性、毒性、およびQwenモデルおよびLlamaモデルに対する幻覚制御全体にわたって、CANSは、MMLU、BBH、IFEvalのパフォーマンスをSFT、CAA、ニューロンレベルのベースラインよりも良く保ちながら、同等または優れたステアリングを達成する。 Qwen3-4Bでは、CANSはHarmBench攻撃の成功を15.50セントから1.75セントに減らし、平均能力は1.11ドルになった。 これらの結果は、ドメイン間の行動制御の実践的アプローチとしてCANSを支持している。

関連論文リスト

• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• Minimizing Targeted Activations: Input-Only Suppression of Evaluation-Awareness Latents in Large Language Models [0.4783156204372467]
  アクティベーションステアリングは、推論時に内部アクティベーションを編集することでモデル動作を制御する。 入力側双対について検討し、流動的なプロンプトを最適化し、選択した内部潜伏剤をゼロに駆動する。
  論文  参考訳（メタデータ） (2026-07-28T16:01:48Z)
• A Coin Flip Per Token: Bernoulli Sparse Steering of Large Language Models [12.373460256583583]
  スパースオートエンコーダ(SAE)によるアクティベーションステアリングは、タスク固有の微調整なしで大きな言語モデルの動作制御を可能にするが、標準手法では生成されたトークン毎にステアリング信号を適用する。 確率$p$で各トークンを独立にゲートするToken Steering(STS)と、シーケンス毎に先頭ウィンドウをゲートするBlock Steering(SBS)を紹介する。 2つのモデルファミリーと2つの行動タスクにまたがって、トークンの50%しかステアリングを行なわず、フラエンシを保ちながら密接なステアリング効果のほとんどを回復させ、30%までステアリングはプロンプトベースの制御を超越する。
  論文  参考訳（メタデータ） (2026-07-06T20:25:27Z)
• Targeted Neuron Modulation via Contrastive Pair Search [0.0]
  ニューロンレベルの介入は、残留ストリーム法の品質トレードオフを伴わずに、信頼性の高い行動ステアリングを可能にする。 ベースモデルにも同様な遅延層識別構造があることがわかったが、これらのニューロンの操舵は内容シフトのみを生成する。 より広範に,アライメント微調整は,既存の識別構造をスパースかつターゲット可能な拒絶ゲートに変換することを示唆している。
  論文  参考訳（メタデータ） (2026-05-12T15:47:38Z)
• AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
  視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。 本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。 LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-20T04:25:24Z)
• WASD: Locating Critical Neurons as Sufficient Conditions for Explaining and Controlling LLM Behavior [9.509326860665476]
  本稿では,トークン生成に十分なニューラルネットワーク条件を同定し,モデル動作を説明する新しいフレームワークWASDを提案する。 提案手法は,ニューロン活性化述語として候補条件を表現し,電流出力を保証する最小セットを反復的に探索する。 SST-2とCounterFactをGemma-2-2Bモデルで実験した結果,従来の属性グラフよりも安定で正確で簡潔な説明が得られた。
  論文  参考訳（メタデータ） (2026-03-19T04:17:19Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Faithful Bi-Directional Model Steering via Distribution Matching and Distributed Interchange Interventions [37.08071497197165]
  インターベンションベースのモデルステアリングは、プロンプトと微調整のための軽量で解釈可能な代替手段を提供する。 本研究では,分散アライメント探索の原理に基づいて,新しいステアリング手法である概念DASを提案する。 概念DASは必ずしも選好最適化法より優れるわけではないが、モデルスケールの増大により恩恵を受ける可能性があることを示す。
  論文  参考訳（メタデータ） (2026-02-05T02:51:00Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。