論文の概要: Training-Free Task Vectors for LLM Behavioral Control

• arxiv url: http://arxiv.org/abs/2609.09054v1
• Date: Tue, 08 Sep 2026 17:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.701143
• Title: Training-Free Task Vectors for LLM Behavioral Control
• Title（参考訳）: LLM動作制御のための学習自由タスクベクトル
• Abstract要約: TFTV(Training-Free Task Vectors)は、微調整を必要とせずにタスクベクトルのような方向を計算する新しい手法である。 本手法は,フォワードパス統計量のみを用いて,アクティベーションステアリングベクトルをランクワンの重み空間編集にマップする。 TFTVは,一般知識と問題解決技術を保ちながら,目標行動の増幅,抑制,構成を一貫して行うことを示す。
• 参考スコア（独自算出の注目度）: 1.5232769236224513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task vectors enable post-training model editing by identifying semantically meaningful directions in weight space, typically computed as the difference between a fine-tuned model and its pretrained initialization. However, this reliance on fine-tuning makes discovering such directions costly and limits the practicality of post-training model editing. To address this limitation, we introduce Training-Free Task Vectors (TFTVs), a novel method to compute task-vector-like directions without requiring fine-tuning. Our method maps activation steering vectors to rank-one weight-space edits using only forward-pass statistics, while satisfying arithmetic properties that directly support learning via addition, forgetting via subtraction, and the composition of multiple edits. Empirically, we evaluate TFTVs on large language model behavioral control tasks and show that they consistently amplify, suppress, and compose target behaviors while preserving general knowledge and problem-solving skills. We also validate our method against other editing and steering baselines, experimentally demonstrating that TFTVs achieve stronger trait control with better or competitive utility preservation. We hope our work opens new directions for the community in post-training model editing and broader training-free model control. Code is available on the project website: tftv-llm.github.io.
• Abstract（参考訳）: タスクベクトルは、重み空間における意味的に意味のある方向を識別することで、訓練後のモデル編集を可能にする。 しかし、この微調整に依存することにより、そのような方向の発見にコストがかかり、訓練後のモデル編集の実践性が制限される。 この制限に対処するために、細調整を必要とせずにタスクベクトルのような方向を計算する新しい方法であるTFTV(Training-Free Task Vectors)を導入する。 本手法は,アクティベーションステアリングベクターをフォワードパス統計量のみを用いてランクワンの重み空間編集にマッピングし,加算による学習,減算による忘れ,複数編集の構成を直接サポートする算術特性を満足する。 実験により,大規模言語モデルを用いた行動制御タスクにおけるTFTVの評価を行い,汎用知識と問題解決スキルを保ちながら,目標行動の増幅,抑制,構成を一貫して行うことを示す。 また,提案手法を他の編集およびステアリングベースラインに対して検証し,TFTVが優れた,あるいは競争力のある実用性を維持しつつ,より強力な特性制御を達成できることを実験的に実証した。 トレーニング後のモデル編集と、より広範なトレーニングフリーモデルコントロールにおいて、コミュニティにとって新たな方向性が開けることを願っています。 コードはプロジェクトのWebサイト(tftv-llm.github.io)で公開されている。

関連論文リスト

• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• DeCoVec: Building Decoding Space based Task Vector for Large Language Models via In-Context Learning [6.461940812531588]
  textscDeCoVecは、少数ショットプロンプトとゼロショットプロンプトの出力ロジット分布の違いとしてタスクの本質をキャプチャする。 textscDeCoVecは標準のショットベースラインを一貫して上回り、平均精度は+5.50まで向上する。
  論文  参考訳（メタデータ） (2026-04-13T07:42:54Z)
• Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging [83.5273168208788]
  モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。 統合モデルは、タスクベクトルのタスク非関連冗長性に起因する競合により、しばしば顕著なパフォーマンス劣化に悩まされる。 本稿では,これらの課題を克服するために,知識対応サブ空間におけるTAsk Vectors (PAVE) の純粋化を提案する。
  論文  参考訳（メタデータ） (2025-10-16T14:02:57Z)
• Gradient-Sign Masking for Task Vector Transport Across Pre-Trained Models [25.83401080149413]
  転送を成功させる鍵は、新しいモデルの勾配の符号構造にあることを示す。 理想的な勾配符号構造を近似する新しい手法であるGradFixを提案する。 視覚と言語ベンチマークにおいて大きなパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-10-07T13:30:25Z)
• Cross-Model Transfer of Task Vectors via Few-Shot Orthogonal Alignment [5.2980803808373516]
  タスク演算は、タスク固有の変更をパラメータ空間内のベクトルとして表現することで、効率的なモデル編集を可能にする。 この仮定は、モデルが異なるデータセットで独立して事前トレーニングされるクロスモデル転送設定に適用性を制限する。 本稿では,タスクベクトルを異なる事前学習対象モデルのパラメータ空間にアライメントする,少数ショットアライメントに基づく手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T14:24:06Z)
• Efficient Model Editing with Task-Localized Sparse Fine-tuning [14.792099973449794]
  そこで本稿では,明示的な線形化を必要とせず,最小限の干渉でスパースタスクベクトルを構築できるTaLoSを提案する。 事前学習されたモデルには、タスク間の勾配感度が一貫して低いパラメータのサブセットが含まれていることがわかった。 実験により,TaLoSは,タスクの追加や否定において,現在の手法より優れている一方で,トレーニングと推論の効率が向上することが証明された。
  論文  参考訳（メタデータ） (2025-04-03T14:20:06Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。