論文の概要: Minimally Invasive Steering of Language Models

• arxiv url: http://arxiv.org/abs/2609.30218v1
• Date: Thu, 24 Sep 2026 17:46:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.185076
• Title: Minimally Invasive Steering of Language Models
• Title（参考訳）: 言語モデルの最小侵襲ステアリング
• Abstract要約: プレログステアリングは、最後の隠れ状態にベクトルを追加することで、凍結した言語モデルをテスト時間報酬に適合させる。 誘導トークン分布の局所KL幾何を用いて介入をペナルティ化するMISVO(Minimally Invasive Steering Vector Optimization)を提案する。 MISVOは7つのモデルのうち6つのモデルで最高の平均報酬を達成し、ダイバーシティとコヒーレンススコアはBest-of-Nに近い。
• 参考スコア（独自算出の注目度）: 41.97909745203066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-logit steering adapts a frozen language model to a test-time reward by adding vectors to its final hidden states. Unregularized reward optimization can substantially alter the output distribution and degrade generation quality. We propose Minimally Invasive Steering Vector Optimization (MISVO), which penalizes interventions using the local KL geometry of the induced token distribution. The resulting Fisher quadratic measures distributional sensitivity and admits an analytic gradient computed through matrix--vector products with the frozen language-model head. We derive an exact decomposition of the sequence-level KL gradient into an analytic Fisher term and a suffix score-function term. For a fixed generation horizon, we show that the suffix term is second order in the steering magnitude and that three Fisher surrogates agree with the full KL gradient to first order. MISVO uses the frozen-reference surrogate to optimize position-specific interventions without updating model parameters. Across preference and code-generation tasks on models with approximately 1B--14B parameters, MISVO achieves the highest mean reward in six of seven model--task settings, with diversity and coherence scores close to those of Best-of-N.
• Abstract（参考訳）: プレログステアリングは、最後の隠れ状態にベクトルを追加することで、凍結した言語モデルをテスト時間報酬に適合させる。 非正規化報酬最適化は、出力分布を著しく変更し、生成品質を劣化させる。 誘導トークン分布の局所KL幾何を用いて介入をペナルティ化するMISVO(Minimally Invasive Steering Vector Optimization)を提案する。 結果のフィッシャー二次度は分布感度を測り、フリーズされた言語モデルヘッドを持つ行列ベクトル生成物を通して計算される解析勾配を許容する。 我々は、列レベルのKL勾配を解析的フィッシャー項と接点スコア関数項に正確に分解する。 固定世代地平線に対しては、接尾辞項が操舵等級の2次であり、3つのフィッシャー代理が1次への完全KL勾配に一致することを示す。 MISVOは、凍結参照サロゲートを使用して、モデルパラメータを更新することなく、位置特異的な介入を最適化する。 MISVOは、約1B-14Bパラメータを持つモデルの好みやコード生成タスク全体にわたって、7つのモデルタスク設定のうち6つのモデル平均報酬を達成し、ダイバーシティとコヒーレンススコアはBest-of-Nに近い。

関連論文リスト

• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• Improving Classifier-Free Guidance of Flow Matching via Manifold Projection [3.6087998976768128]
  最適化のレンズによるCFGの原理的解釈を提供する。 CFGサンプリングを多様体制約によるホモトピー最適化として再構成する。 提案手法は, トレーニング不要かつ一貫した生成忠実度, 迅速なアライメント, ガイダンス尺度に対するロバスト性である。
  論文  参考訳（メタデータ） (2026-01-29T15:49:31Z)
• Bayesian Natural Gradient Fine-Tuning of CLIP Models via Kalman Filtering [4.681301898136104]
  視覚言語による事前学習モデルにおいて、最適性能を達成する上で大きな課題となる微調整は少ない。 本稿では,CLIPモデルに対するカルマンフィルタを用いた自然明度(NGD)のベイズ近似を提案する。 我々のアルゴリズムは、最先端のベースラインよりも優れた、もしくは同等のID性能を一貫して達成する。
  論文  参考訳（メタデータ） (2025-11-03T16:00:45Z)
• Why Alignment Must Precede Distillation: A Minimal Working Explanation [50.784080714897776]
  標準のKD -> Alignワークフローは、稀だが望ましい振る舞いを整列するためにモデルの能力を低下させる。 蒸留に先立って,まず高リコール基準でアライメントを行わなければならないことを示す。
  論文  参考訳（メタデータ） (2025-09-28T06:12:19Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Parameter Efficient Fine-tuning via Explained Variance Adaptation [25.665369832093976]
  我々は、FM(ファウンデーションモデル)のための新しい手法として、EVA(Explained Variance Adaptation)を導入する。 EVAは、最もアクティベーションのばらつきを捉え、期待される勾配信号を確実に最大化し、微調整を加速する方向を使用する。 EVAを言語生成・理解、画像分類、強化学習など様々な微調整タスクに適用する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:06Z)
• Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
  曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。 提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。 プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-07T03:18:00Z)
• DF2: Distribution-Free Decision-Focused Learning [30.288876294435294]
  決定中心学習(DFL)は,予測列最適化問題に対する強力なアプローチとして登場した。 DFLはモデル誤差、サンプル平均近似誤差、近似誤差の3つのボトルネックに直面している。 本稿では,この3つのボトルネックを緩和する決定自由学習手法であるDF2を提案する。
  論文  参考訳（メタデータ） (2023-08-11T00:44:46Z)
• Black Box Lie Group Preconditioners for SGD [13.30021794793606]
  勾配降下の収束を加速するために,行列自由および低階近似プレコンディショナーを提案する。 パラメータ更新の学習速度とプレコンディショナリングのステップサイズは自然に正規化され、デフォルト値はほとんどの状況でうまく機能する。
  論文  参考訳（メタデータ） (2022-11-08T18:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。