論文の概要: Right Token, Right Time: From Per-Token Gating to Trajectory-Aware Activation Steering
- arxiv url: http://arxiv.org/abs/2611.18274v1
- Date: Fri, 13 Nov 2026 15:06:43 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:54.108252
- Title: Right Token, Right Time: From Per-Token Gating to Trajectory-Aware Activation Steering
- Title(参考訳): 右Token, right time: From Per-Token Gating to Trajectory-Aware Activation Steering
- Abstract要約: スパースオートエンコーダ(SAE)によるアクティベーションステアリングは、タスク固有の微調整なしで大きな言語モデルの振る舞い制御を可能にする。
標準的な方法では、生成されたトークン毎にステアリング信号を適用し、モデルがトレーニングした分布から表現を置き換える。
介入が適用される世代に沿ったエンフェーンは、制御の決定的な軸であることを示す。
- 参考スコア(独自算出の注目度): 11.667947236213239
- License:
- Abstract: Activation steering via sparse autoencoders (SAEs) enables behavioral control of large language models without task-specific fine-tuning. Yet, standard methods apply the steering signal at every generated token, displacing representations from the distribution the model was trained on and eroding generation quality. We show that \emph{when} along a generation the intervention is applied is a decisive axis of control. We cast steering as a per-token allocation problem under a fixed budget of steerable tokens, so that methods differ only in which tokens they select, making allocation the sole variable. Within this framework we introduce two gates. The first, Contrastive Feature Projection (CFP), is memoryless and selects the tokens least aligned with the target behavior through a sparse, interpretable feature projection. The second, Closed-Loop Adaptive Bernoulli Steering (CLABS), is trajectory aware. It treats allocation as closed-loop feedback control, tracking the alignment a generation has accumulated so far and spending budget where the trajectory falls behind. On a linear steering-response model we derive an explicit gain region that guarantees closed-loop stability of CLABS and show that its integral term reduces the steady-state tracking offset. Empirically, CFP and CLABS achieve the largest behavioral shift among budgeted gates at matched budgets, with CLABS strongest under the tight budgets where allocation matters most, while best preserving fluency.
- Abstract(参考訳): スパースオートエンコーダ(SAE)によるアクティベーションステアリングは、タスク固有の微調整なしで大きな言語モデルの振る舞い制御を可能にする。
しかし、標準的な手法では、生成されたトークンごとにステアリング信号を適用し、モデルがトレーニングした分布から表現を削除し、生成品質を損なう。
介入が適用される世代に沿った 'emph{when} は制御の決定的な軸であることを示す。
我々は、ステアリングを、ステアリング可能なトークンの固定された予算の下で、各トークンの割り当て問題としてキャストし、メソッドがどのトークンを選択するかだけが異なるようにし、単独の変数を割り当てる。
このフレームワークでは、2つのゲートを導入します。
最初のCFP(Contrastive Feature Projection)は、メモリレスで、スパースで解釈可能なフィーチャープロジェクションを通じて、ターゲットの振る舞いと最小に整合したトークンを選択する。
2つ目は、CLABS(Close-Loop Adaptive Bernoulli Steering)である。
割り当てをクローズドループフィードバックコントロールとして扱い、世代が蓄積したアライメントを追跡し、軌道が遅れる予算を浪費する。
線形ステアリング応答モデルにおいて、CLABSの閉ループ安定性を保証する明示的なゲイン領域を導出し、その積分項が定常トラッキングオフセットを減少させることを示す。
実証的に、CFPとCLABSは、整合した予算で予算付きゲート間で最大の行動シフトを達成し、CLABSは、割り当てが最重要となる厳格な予算の下で最強であり、かつ、最も保存性が高い。
関連論文リスト
- SteerAct: Unlocking Action Models through Few-Shot Temporal Steering [64.79247979322437]
アクティベーションステアリングは、いくつかのロールアウトからテスト時にトレーニング済みのロボットアクションモデルを改善する。
本稿では,スパース・フューチャー・ダイナミクスの共有時間記述子を用いた数ショットの時間的ステアリングフレームワークであるSteerActを紹介する。
我々は、$_0.5$、Fast-WAM、RoboTwin 2.0、DexJoCo、および実世界の操作にまたがる評価において、SteerActはタスク成功率を約10%改善することを示した。
論文 参考訳(メタデータ) (2026-10-19T01:20:06Z) - Contrastive Covariance Subspaces for Activation Steering [67.62626452204076]
共分散ステアリング(Contrastive Covariance Steering, CCS)は, 共分散を除去する訓練不要な手法である。
CCSは12ドルモデルドメイン設定ですべてのベースラインステアリングメソッドを一貫して上回っている。
提案手法は,CCSが概念表現と流速の両方を維持できるマルチターン会話に拡張する。
論文 参考訳(メタデータ) (2026-09-29T20:20:07Z) - Latent-Centroid Steering: Single-Pass Classifier-Free Guidance for Command-Aligned Autonomous Driving [37.533498955258544]
本稿では,インスタンスレベルの残差をクラスレベルの遅延シフトに置き換える単一パス誘導機構を提案する。
我々はLCSがより強力なコマンドアテンデンスを実現しつつ、推論遅延を約50%削減できることを実証した。
論文 参考訳(メタデータ) (2026-07-31T19:32:28Z) - A Coin Flip Per Token: Bernoulli Sparse Steering of Large Language Models [12.373460256583583]
スパースオートエンコーダ(SAE)によるアクティベーションステアリングは、タスク固有の微調整なしで大きな言語モデルの動作制御を可能にするが、標準手法では生成されたトークン毎にステアリング信号を適用する。
確率$p$で各トークンを独立にゲートするToken Steering(STS)と、シーケンス毎に先頭ウィンドウをゲートするBlock Steering(SBS)を紹介する。
2つのモデルファミリーと2つの行動タスクにまたがって、トークンの50%しかステアリングを行なわず、フラエンシを保ちながら密接なステアリング効果のほとんどを回復させ、30%までステアリングはプロンプトベースの制御を超越する。
論文 参考訳(メタデータ) (2026-07-06T20:25:27Z) - When is Your LLM Steerable? [56.656180566692946]
アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための軽量なアプローチを提供する。
ステアリングを成功させる体制と境界を見つけるには、通常、高価なグリッドサーチが必要である。
生成プロセスの開始時にモデルの内部状態からステアビリティを予測できるかどうかを検討する。
論文 参考訳(メタデータ) (2026-06-10T02:55:34Z) - Activation Steering for Aligned Open-ended Generation without Sacrificing Coherence [16.403654360036498]
ミスアライメントは、敵対的なプロンプト、良心的な微調整、創発的なミスアライメント、目標のミスジェネレーションによって引き起こされる。
最近の証拠は、いくつかの不整合挙動が活性化空間の線形構造としてコード化され、操舵によって牽引可能であることを示唆している。
これらの知見は, 世代ごとのアクティベーションの不一致を継続的に補正する軽量なランタイムディフェンスとして, アクティベーションステアリングを動機付けている。
論文 参考訳(メタデータ) (2026-04-09T12:28:22Z) - Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics [81.80010043113445]
局所的な微調整、LoRAに基づく適応、およびアクティベーションに基づく介入を分離して研究する。
制御信号によって誘導される動的ウェイト更新として、これらの介入をフレーム化する統一的な視点を示す。
提案手法では,選択と効用との間に一貫したトレードオフが観測される。
論文 参考訳(メタデータ) (2026-02-02T17:04:36Z) - Inference-time Alignment via Sparse Junction Steering [25.464612964225484]
推論時間アライメントのための重要なアプローチとして、トークンレベルのステアリングが登場している。
既存の手法はデコードの各ステップで密接な介入に依存している。
密接な介入は不要であり,スパースジャンクションステアリングを提案する。
論文 参考訳(メタデータ) (2026-01-30T08:40:47Z) - Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection [1.7802147489386628]
大規模言語モデル(LLM)は、有害な行動を引き起こす敵攻撃に対して脆弱なままである。
我々は2つの重要な革新を通じてこれらの制限に対処する選択ステアリングを提案する。
9つのモデルに対する実験により、選択ステアリングは以前の手法よりも5.5倍の攻撃成功率を達成することが示された。
論文 参考訳(メタデータ) (2026-01-27T08:56:25Z) - GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。
推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。
微調整と既存のステアリングベースラインの両方を一貫して上回る。
論文 参考訳(メタデータ) (2025-07-24T02:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。