論文の概要: Steering Vectors as a Training Signal in LLM Post-Training

• arxiv url: http://arxiv.org/abs/2610.40998v1
• Date: Thu, 29 Oct 2026 21:28:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.498789
• Title: Steering Vectors as a Training Signal in LLM Post-Training
• Title（参考訳）: LLM後の訓練信号としてのステアリングベクトル
• Abstract要約: 本研究は,残差流方向がポストトレーニング中のパラメータ更新をガイドできるかどうかを考察する。 本枠組みでは,教師が指導する指導訓練における隠蔽状態フックと,不正なロールアウトにおけるアドバンテージ・リペア機構の2つを考察する。
• 参考スコア（独自算出の注目度）: 5.356423210548243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Steering vectors (SVs) are residual-stream directions that shift the behavior of LLMs when added to hidden states at inference time. While prior work has mainly used SVs as post-hoc controls, we ask whether the same directions can also guide parameter updates during post-training. We study this question across supervised learning, including SFT and distillation, and reinforcement learning with verifiable rewards (RLVR). Our framework considers two intervention regimes: a hidden-state hook during teacher-forced supervised training, and an advantage-repair mechanism on wrong rollouts in GRPO. For each regime, we analyze three design axes, which are the steering direction, its placement, and the operation used to combine it with training. In supervised settings, SV injection improves over plain SFT and distillation, with gains scaling with the off-policy gap and reaching up to a $12\%$ improvement when distilling from thinking-mode teachers. These gains hold across three random seeds. In RL settings, applying a correctness-contrast direction as advantage repair on wrong rollouts, including otherwise zero-gradient all-wrong groups, recovers a learning signal that transfers to held-out math benchmarks and acts as a composable auxiliary signal that adds to existing zero-variance remedies such as entropy-aware advantage shaping. We further identify three failure boundaries. In detail, code generation can break the direction, cross-family layer transfer can break the placement, and inference-time application on an SV-trained checkpoint can break the intervention regime. Together, these results establish steering vectors as a conditional but effective training signal for LLM post-training. Our code is available here.
• Abstract（参考訳）: ステアリングベクター(SV)は、推論時に隠れた状態に付加された場合のLCMの挙動を移動させる残差ストリーム方向である。 これまでの作業では,主にポストホックコントロールとしてSVを使用してきたが,同じ方向でもポストトレーニング中にパラメータ更新をガイドできるかどうかを問う。 本研究では,SFTと蒸留を含む教師あり学習と,検証可能な報酬(RLVR)を用いた強化学習について検討する。 本枠組みでは,教師が指導する指導訓練における隠れ状態フックと,GRPOの不正ロールアウトにおけるアドバンテージ・リペア機構の2つを考察する。 各体制について, 操舵方向, 配置, 訓練に使用する操作の3つの設計軸を解析した。 教師付き環境では、SVインジェクションは通常のSFTや蒸留よりも改善され、政治外のギャップでスケールし、思考モードの教師から蒸留すると最大12.%の改善が達成される。 この値は3つのランダムな種子にまたがる。 RL設定では、不正なロールアウトに対する不正な修復に正当性コントラストの方向を適用すると、ゼログレートな全階層群を含む不正なロールアウトを復元し、ホールドアウトされた数学ベンチマークに転送し、エントロピー対応のアドバンストシェーピングのような既存のゼロ分散対策を付加する構成可能な補助信号として機能する学習信号を回復する。 さらに3つの障害境界を特定します。 詳細は、コード生成が方向を壊し、クロスファミリー層転送が配置を壊し、SVトレーニングされたチェックポイント上の推論タイムアプリケーションが介入体制を壊す可能性がある。 これらの結果から, LLM後トレーニングのための条件付きだが効果的なトレーニング信号としてステアリングベクトルが確立された。 私たちのコードはここにある。

関連論文リスト

• Pairwise AUC Optimization Needs Corrective Power: A Unified View [91.5488253165522]
  ペアワイドのミニバッチ更新が、より厳格なランキングエラーに対して、より強く信頼性の高い改善をもたらすかどうかを検討する。 我々の主な観察では、直接的なペアワイズトレーニングは、深刻なエラーが相変わらずありふれた領域に入ることができるが、もはや有用な修正動作は生じない。
  論文  参考訳（メタデータ） (2026-10-15T12:02:54Z)
• Reflect-VLA: Internalizing Reflective Guidance via Dual-Path On-Policy Self-Distillation for Autonomous Driving [22.70916741689786]
  強化学習(RL)は、自律走行型ビジョンランゲージ・アクション(VLA)モデルの計画性能を大幅に改善する。 本稿では,リフレクティブガイダンスを訓練時特権情報として扱うリフレクティブVLAを提案する。 Dual-OPSDは、学生が生成した軌跡をルートするだけに駆動スコアを使用する。
  論文  参考訳（メタデータ） (2026-10-09T11:52:17Z)
• RollVerify: Bridging Efficiency and Accuracy in Long-Tail Rollout Reinforcement Learning [52.85109240617592]
  RollVerifyは、部分的なロールアウト上に構築された軽量なReinforcement Learningフレームワークである。 訓練に入る前にサンプルを検証し、修復する。 トレーニングコストを削減しつつ、オンデマンドトレーニングに匹敵する精度を達成する。
  論文  参考訳（メタデータ） (2026-10-07T12:05:33Z)
• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Revisiting Complete Reasoning Traces for Post-Training [61.76889440384448]
  大規模言語モデル(LLM)は、しばしば推論能力を改善するために、事前コンパイルされた推論軌道上で後から訓練される。 フルトラジェクトリは限られた利益しか得られないが, 部分トラジェクトリは重いトラジェクトリの下でも有効である。
  論文  参考訳（メタデータ） (2026-09-07T06:46:17Z)
• DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models [26.283978881046107]
  検証可能な報酬による強化学習は、大きな言語モデルの推論能力を向上させる。 On-policy self-distillationは、学生が訪問する接頭辞で特権教師に問い合わせることで、信号の疎結合を緩和する。 標準のOPSDはロールアウトの時間構造をまだ明らかにしていない。 DASHは各局所蒸留信号とシーケンスレベル平均とのギャップを適応伝搬ゲートにマッピングする。
  論文  参考訳（メタデータ） (2026-08-06T16:29:24Z)
• CAST: Non-Privileged Clipped Asymmetric Self-Teaching with Advantage Flipping for GRPO [9.443660785229719]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論を改善するために広く用いられている。 本研究は,GRPO型RLVRに対する無回答自己蒸留法であるCASTを提案する。
  論文  参考訳（メタデータ） (2026-05-29T13:21:30Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。