論文の概要: COLD-Steer: Steering Large Language Models via In-Context One-step Learning Dynamics

• arxiv url: http://arxiv.org/abs/2603.06495v1
• Date: Fri, 06 Mar 2026 17:27:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:46.295082
• Title: COLD-Steer: Steering Large Language Models via In-Context One-step Learning Dynamics
• Title（参考訳）: COLD-Steer:インコンテキストワンステップ学習ダイナミクスによる大規模言語モデルのステアリング
• Authors: Kartik Sharma, Rakshit S. Trivedi,
• Abstract要約: アクティベーションステアリング法は,大規模言語モデル (LLM) の動作を再訓練することなく,推論時制御を可能にする。 COLD-Steerは、LLMアクティベーションを制御できるトレーニングフリーフレームワークであり、インコンテキスト上の勾配勾配から生じる表現的変化を近似することで、LCMアクティベーションを制御できる。 様々なステアリングタスクとベンチマーク実験により、COLD-Steerは最高のベースラインの50倍のサンプルを使用しながら、最大95%のステアリング効率を達成することが示された。
• 参考スコア（独自算出の注目度）: 5.971951524892311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering methods enable inference-time control of large language model (LLM) behavior without retraining, but current approaches face a fundamental trade-off: sample-efficient methods suboptimally capture steering signals from labeled examples, while methods that better extract these signals require hundreds to thousands of examples. We introduce COLD-Steer, a training-free framework that steers LLM activations by approximating the representational changes that would result from gradient descent on in-context examples. Our key insight is that the effect of fine-tuning on a small set of examples can be efficiently approximated at inference time without actual parameter updates. We formalize this through two complementary approaches: (i) a unit kernel approximation method that updates the activations directly using gradients with respect to them, normalized across examples, and (ii) a finite-difference approximation requiring only two forward passes regardless of example count. Experiments across a variety of steering tasks and benchmarks demonstrate that COLD-Steer achieves upto 95% steering effectiveness while using 50 times fewer samples compared to the best baseline. COLD-Steer facilitates accommodating diverse perspectives without extensive demonstration data, which we validate through our experiments on pluralistic alignment tasks. Our framework opens new possibilities for adaptive, context-aware model control that can flexibly address varying loss-driven human preferences through principled approximation of learning dynamics rather than specialized training procedures.
• Abstract（参考訳）: アクティベーションステアリング手法は、大規模な言語モデル(LLM)の振る舞いを再トレーニングすることなく推論時制御を可能にするが、現在のアプローチでは基本的なトレードオフに直面している。 COLD-Steerは、LLMアクティベーションを制御できるトレーニングフリーフレームワークであり、インコンテキスト上の勾配勾配から生じる表現的変化を近似することで、LCMアクティベーションを制御できる。 我々の重要な洞察は、小さな例に対する微調整の効果は、実際のパラメータ更新なしに推論時に効率的に近似できるということである。 これを2つの補足的アプローチで定式化する。 (i)単位カーネル近似法であって、それらに関する勾配を用いて直接アクティベーションを更新し、例によって正規化するものであること。 (ii) 例数によらず2つの前方通過しか必要としない有限差分近似。 様々なステアリングタスクとベンチマーク実験により、COLD-Steerは最高のベースラインの50倍のサンプルを使用しながら、最大95%のステアリング効率を達成することが示された。 COLD-Steerは、多元的アライメントタスクの実験を通じて、広範囲な実演データなしで様々な視点の調整を容易にする。 本フレームワークは, 学習力学の原理的近似により, 適応的, 文脈対応型モデル制御の新たな可能性を開く。

関連論文リスト

• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
  本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。 本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
  論文  参考訳（メタデータ） (2025-07-13T19:36:17Z)
• CCDP: Composition of Conditional Diffusion Policies with Guided Sampling [17.9632871021636]
  本稿では,以前に失敗した動作を避けるため,サンプリング分布を改良する改良されたサンプリング戦略を提案する。 本手法は,探索行動の追加を必要とせずに,回復動作を推定できることを実証する。 提案手法では, サンプリングスペースを動的に調整し, 先行サンプルが不足した場合の効率を向上させる低レベルコントローラを提案する。
  論文  参考訳（メタデータ） (2025-03-19T16:24:55Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• InsPose: Instance-Aware Networks for Single-Stage Multi-Person Pose Estimation [37.80984212500406]
  本稿では,インスタンス認識型動的ネットワークを用いて,シンプルで効果的な解を提案する。 具体的には、各インスタンスのネットワークパラメータを適応的に(一部)調整するインスタンス対応モジュールを提案する。 我々のソリューションは、コンパクトなエンドツーエンドのトレーニング可能なパイプラインを維持しながら、様々なポーズを認識するためのネットワークの容量と適応性を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-07-19T15:56:09Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。