論文の概要: Steer2Adapt: Dynamically Composing Steering Vectors Elicits Efficient Adaptation of LLMs

• arxiv url: http://arxiv.org/abs/2602.07276v1
• Date: Sat, 07 Feb 2026 00:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.544642
• Title: Steer2Adapt: Dynamically Composing Steering Vectors Elicits Efficient Adaptation of LLMs
• Title（参考訳）: Steer2Adapt: 動的に構成されたステアリングベクトルによるLCMの効率的な適応
• Authors: Pengrui Han, Xueqiang Xu, Keyang Xuan, Peiyang Song, Siru Ouyang, Runchu Tian, Yuqing Jiang, Cheng Qian, Pengcheng Jiang, Jiashuo Sun, Junxia Cui, Ming Zhong, Ge Liu, Jiawei Han, Jiaxuan You,
• Abstract要約: STEER2ADAPTは、大きな言語モデル(LLM)をスクラッチから学習するのではなく、ステアリングベクターを構成することで適応するフレームワークである。 STEER2ADAPTの有効性を実証し、平均8.2%の改善を実現した。
• 参考スコア（独自算出の注目度）: 42.13334813565475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering has emerged as a promising approach for efficiently adapting large language models (LLMs) to downstream behaviors. However, most existing steering methods rely on a single static direction per task or concept, making them inflexible under task variation and inadequate for complex tasks that require multiple coordinated capabilities. To address this limitation, we propose STEER2ADAPT, a lightweight framework that adapts LLMs by composing steering vectors rather than learning new ones from scratch. In many domains (e.g., reasoning or safety), tasks share a small set of underlying concept dimensions. STEER2ADAPT captures these dimensions as a reusable, low-dimensional semantic prior subspace, and adapts to new tasks by dynamically discovering a linear combination of basis vectors from only a handful of examples. Experiments across 9 tasks and 3 models in both reasoning and safety domains demonstrate the effectiveness of STEER2ADAPT, achieving an average improvement of 8.2%. Extensive analyses further show that STEER2ADAPT is a data-efficient, stable, and transparent inference-time adaptation method for LLMs.
• Abstract（参考訳）: 活性化ステアリングは、下流の振る舞いに大規模言語モデル(LLM)を効率的に適応するための有望なアプローチとして登場した。 しかし、既存のステアリング手法の多くはタスクや概念ごとに1つの静的な方向に依存しており、タスクの変動の下では非フレキシブルであり、複数の協調機能を必要とする複雑なタスクには不適当である。 この制限に対処するため、我々はSTEER2ADAPTという軽量なフレームワークを提案し、このフレームワークは、スクラッチから新しいものを学ぶのではなく、ベクトルを操ることでLCMに適応する。 多くのドメイン(例えば、推論や安全性)において、タスクは基礎となる概念の小さなセットを共有します。 STEER2ADAPTはこれらの次元を再利用可能な低次元のセマンティック事前部分空間として捉え、少数の例から基底ベクトルの線形結合を動的に発見することで新しいタスクに適応する。 STEER2ADAPTの有効性を実証し、平均8.2%の改善を実現した。 さらに、STEER2ADAPTは、LLMに対するデータ効率、安定、透過的な推論時間適応法であることを示す。

関連論文リスト

• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• Learning to Optimize Multi-Objective Alignment Through Dynamic Reward Weighting [48.87957020168614]
  マルチリワード学習における以前の研究は、通常、固定重み付き線形スカラー化を使用しており、効果的なオンライン学習を捉えることができない。 目的整合性を高めるための2つのアプローチ、オンライン学習のためのもの、宇宙探査のためのものを紹介する。
  論文  参考訳（メタデータ） (2025-09-14T21:56:35Z)
• Transformer-Squared: Self-adaptive LLMs [29.1326358746118]
  そこで我々はTransformer-Squaredという新しい自己適応フレームワークを紹介した。 提案手法は,LoRAなどのユビキタスな手法よりもパラメータが少なく,効率も向上する。 Transformer-Squaredは、LLMの適応性とタスク固有のパフォーマンスを向上させる、スケーラブルで効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-01-09T01:19:21Z)
• Semantics-Adaptive Activation Intervention for LLMs via Dynamic Steering Vectors [8.761404991620285]
  大規模言語モデル(LLM)の行動を修正するための効果的かつ経済的手法として活性化介入が出現した。 本稿では,モデルアクティベーションを推論時に介入するための動的ステアリングベクトルを構成する新しい手法であるSemantics-Adaptive Dynamic Intervention (SADI)を提案する。 実験結果から,SADIが確立したベースラインをかなりのマージンで上回り,トレーニングなしでのタスク性能が向上した。
  論文  参考訳（メタデータ） (2024-10-16T06:58:49Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。