論文の概要: One Token Can Be Enough: Bridging Prompting and Activation Steering with Prefix Steering
- arxiv url: http://arxiv.org/abs/2610.04967v1
- Date: Sun, 04 Oct 2026 05:27:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 07:32:19.192941
- Title: One Token Can Be Enough: Bridging Prompting and Activation Steering with Prefix Steering
- Title（参考訳）: プリフィックスステアリングによるブリッジングプロンプティングとアクティベーションステアリング
- Abstract要約: 簡単な初期介入により, ステアリングがその後の世代を導くことができるか検討した。
短期間の介入 単一のトークンでさえ フルステアリングの 行動制御を維持できる
発見は、生成されたトークンをすべてステアリングする一般的なプラクティスに挑戦する。
- 参考スコア（独自算出の注目度）: 15.709542566113136
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompting guides language model behavior through the initial context, whereas activation steering often intervenes throughout generation. A natural question is whether steering can produce effects on subsequent computation similar to those of prompting. Under fixed-state attention assumptions, we establish sufficient conditions for single- and multi-token steering to match prompt-induced attention-head outputs, and characterize how changes in input representations affect this match and its approximation error. This attention-level connection leads us to ask whether, at the behavioral level, steering can also guide subsequent generation through a brief initial intervention. We study Prefix Steering, which applies existing steering directions and operators over a short span starting at the final prompt token, with no further direct intervention afterward. We examine how intervention duration and strength jointly shape the control-capability trade-off. Across four models and five tasks, intervention over a short span, even a single token, often retains much of full steering's behavioral control while better preserving general capabilities, offering a trade-off competitive with, and in some settings better than, prompting and alternative steering-strength policies. Prefix Steering also remains effective on final-answer formatting tasks after reasoning, suggesting that a brief initial intervention can influence behavior expressed well after steering ends. These findings challenge the common practice of steering every generated token and motivate a more dynamical view of activation steering, in which a brief intervention can alter the trajectory of subsequent generation without continued intervention.
- Abstract（参考訳）: プロンプティングは言語モデルの振る舞いを初期文脈を通して導くが、アクティベーションステアリングは世代を通して介入することが多い。
自然な疑問は、ステアリングがその後の計算にプロンプトと同様の効果をもたらすかどうかである。
固定状態の注意前提の下では、単一およびマルチトークンのステアリングにおいて、インプット表現の変化がこの一致とその近似誤差にどのように影響するかを特徴付ける。
この注意レベル接続により、行動レベルでは、ステアリングが簡単な初期介入を通じて、その後の世代を導くことができるかどうかを問うことができる。
既存のステアリング方向と演算子を最終プロンプトトークンから開始する短いスパンで適用するPrefix Steeringについて検討した。
介入期間と強度が協調して制御能力トレードオフを形成するかを検討する。
4つのモデルと5つのタスクにまたがって、短いスパンの介入は、単一のトークンでさえも、多くの場合、完全なステアリングの行動制御の多くを保持しながら、一般的な能力を保ち、トレードオフを提供し、いくつかの設定において、一部のステアリング・ストロングス・ポリシーを推進し、代替のステアリング・ストロングス・ポリシーよりも優れている。
プレフィックスステアリングは、推論後のファイナル・アンサー・フォーマッティングのタスクにも有効であり、短い初期介入がステアリング終了後に表現された振る舞いに影響を与える可能性があることを示唆している。
これらの知見は、全てのトークンをステアリングし、よりダイナミックなアクティベーションステアリングの視点を動機付ける共通の実践に挑戦する。
関連論文リスト
- Forecasting Side Effects of Activation Steering [2.9232547241199156]
アクティベーションステアリングは、学習方向を隠れたアクティベーションに追加することで言語モデルを変更する。
操舵は効果的であるが、他の行動に意図しない副作用を生じることが多く、安全に展開することは困難である。
これらの副作用は、ステアリングを適用する前に予測できますか?
副作用は一般的で、構造化され、しばしば非対称であり、既存の類似性ベースでは説明できない相互作用を明らかにする。
論文 参考訳（メタデータ） (2026-07-28T08:46:06Z) - Where Steering Signals Come From: Activation Source Selection in Activation Steering [71.96112659293725]
有効なステアリングは、ソーステキストに望ましい振る舞いが現れるかどうかだけでは説明できない。
強いシグナルは、モデルがターゲットの振る舞いを生成または継続しようとしている実行境界状態から来る。
この観点から、我々は、境界状態から共有のプロンプトと継続のセマンティクスを取り除くテールサブトラクションを導入する。
論文 参考訳（メタデータ） (2026-07-28T04:18:24Z) - When is Your LLM Steerable? [56.656180566692946]
アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための軽量なアプローチを提供する。
ステアリングを成功させる体制と境界を見つけるには、通常、高価なグリッドサーチが必要である。
生成プロセスの開始時にモデルの内部状態からステアビリティを予測できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-06-10T02:55:34Z) - Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。
ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
論文 参考訳（メタデータ） (2026-06-07T15:34:59Z) - Steer Where It Matters: Token-Level Visual-Sensitivity Steering for LVLMs Hallucination Mitigation [59.80828456543202]
幻覚緩和のためのTLVS(Token-Level Visual-Sensitivity Steering)を提案する。
このメカニズムはキャリブレーションのための最小限のトレーニングしか必要とせず、様々な視覚言語モデルに適用できる。
POPE, AMBER, CHAIR (COCO), MMHal, HallusionBenchなどのベンチマークでTLVSを評価し, 従来のステアリング法よりも一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-06-02T08:23:28Z) - Steer Like the LLM: Activation Steering that Mimics Prompting [0.0]
大規模な言語モデルは、プロンプトやアクティベーションの介入を通じて、推論時に操縦することができる。
アクティベーションステアリング法は、しばしばプロンプトベースのアプローチに比べて性能が劣る。
本稿では,アクティベーションステアリングの一形態として,迅速なステアリングを定式化するフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-05T15:59:42Z) - AMPS: Adaptive Modality Preference Steering via Functional Entropy [66.69992693275061]
本稿では,各モータリティの情報提供量を定量化し,ステアリングに対するサンプル固有の感受性を明らかにするインスタンス認識診断指標を提案する。
実験結果から, インスタンス認識のステアリングは, 従来のステアリングよりもモダリティの嗜好の調整に優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-02-13T02:29:06Z) - Steering Latent Traits, Not Learned Facts: An Empirical Study of Activation Control Limits [0.0]
大規模言語モデル(LLM)は、多様なアプリケーションにまたがる安全かつ効果的なデプロイメントのために、正確な振る舞い制御を必要とする。
本研究では, ステアリングの有効性が, 異なる行動種によってどのように異なるのか, 対象行動の性質がステアリングの成功を予測することができるのか, という課題に焦点をあてる。
論文 参考訳（メタデータ） (2025-11-23T04:28:41Z) - Head-Specific Intervention Can Induce Misaligned AI Coordination in Large Language Models [1.8907108368038215]
推論時のアクティベーション介入は、安全アライメントを回避し、有害なAIコーディネートに向けてモデル世代を効果的に操ることが可能であることを示す。
本手法は,各頭部を簡単な二分選択タスクで探索することにより,特定の注意頭部にきめ細かな介入を施す。
注意頭への介入は、全層への介入や教師付き微調整よりも効果的であることを示す。
論文 参考訳（メタデータ） (2025-02-09T16:11:57Z) - ADAPT: Vision-Language Navigation with Modality-Aligned Action Prompts [92.92047324641622]
視覚言語ナビゲーション(VLN)のためのmodAlity-aligneD Action PrompT(ADAPT)を提案する。
ADAPTは、アクションレベルのモダリティアライメントの明示的な学習を可能にするために、アクションプロンプトをVLNエージェントに提供する。
R2RとRxRの両方の実験結果は、最先端手法よりもADAPTの方が優れていることを示している。
論文 参考訳（メタデータ） (2022-05-31T02:41:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。