論文の概要: DeCoVec: Building Decoding Space based Task Vector for Large Language Models via In-Context Learning

• arxiv url: http://arxiv.org/abs/2604.11129v1
• Date: Mon, 13 Apr 2026 07:42:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.405103
• Title: DeCoVec: Building Decoding Space based Task Vector for Large Language Models via In-Context Learning
• Title（参考訳）: DeCoVec: インコンテキスト学習による大規模言語モデルのためのデコードスペースベースのタスクベクトルの構築
• Abstract要約: textscDeCoVecは、少数ショットプロンプトとゼロショットプロンプトの出力ロジット分布の違いとしてタスクの本質をキャプチャする。 textscDeCoVecは標準のショットベースラインを一貫して上回り、平均精度は+5.50まで向上する。
• 参考スコア（独自算出の注目度）: 6.461940812531588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task vectors, representing directions in model or activation spaces that encode task-specific behaviors, have emerged as a promising tool for steering large language models (LLMs). However, existing approaches typically require fine-tuning or invasive manipulation of internal states, limiting their flexibility and scalability. We propose \textsc{DeCoVec} (Decoding Space based Task Vector), a training-free and non-invasive framework that constructs task vectors directly in the \textit{decoding space} by leveraging in-context learning (ICL). Specifically, \textsc{DeCoVec} captures the task essence as the difference between the output logit distributions of few-shot and zero-shot prompts, then steers generation by injecting this vector into the decoding process. Experiments across seven LLMs (0.5B--9B) on TruthfulQA, Math-500, and AQUA-RAT show that \textsc{DeCoVec} consistently outperforms standard few-shot baselines, with gains up to +5.50 average accuracy. Further analysis demonstrates that \textsc{DeCoVec} effectively suppresses generation degeneration and logical flaws while exhibiting strong robustness to demonstration ordering, all without incurring additional input token costs. Our method offers a training-free and non-invasive solution for LLM steering without requiring weight updates or auxiliary models.
• Abstract（参考訳）: タスクベクトルは、タスク固有の振る舞いを符号化するモデルやアクティベーション空間の方向を表すもので、大きな言語モデル(LLM)を操るための有望なツールとして登場した。 しかし、既存のアプローチでは、内部状態を微調整または侵入的に操作する必要があるため、柔軟性とスケーラビリティが制限される。 In-context Learning (ICL) を活用して,タスクベクトルを直接 \textit{decoding space} 内に構築する,トレーニング不要で非侵襲的なフレームワークである \textsc{DeCoVec} (Decoding Space based Task Vector) を提案する。 具体的には、textsc{DeCoVec} は、少数ショットプロンプトとゼロショットプロンプトの出力ロジット分布の違いとしてタスクの本質をキャプチャし、このベクトルをデコードプロセスに注入することで、ステアリングを生成する。 TruthfulQA、Math-500、Aqua-RATの7つのLLM(0.5B--9B)での実験では、標準的な数発のベースラインより常に優れており、平均精度は+5.50である。 さらなる分析により、 \textsc{DeCoVec} は生成の退化と論理的欠陥を効果的に抑制し、さらに追加の入力トークンコストを発生させることなく、証明順序付けに強い堅牢性を示すことを示した。 本手法は,軽量化や補助モデルを必要としないLCMステアリングのためのトレーニングフリーで非侵襲的なソリューションを提供する。

関連論文リスト

• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• Distributional Alignment as a Criterion for Designing Task Vectors in In-Context Learning [6.840854574584369]
  本稿では,タスクベクトルを用いた推論は,その予測分布とICLの予測分布を一致させるべきであると論じる。 本稿では,タスクベクトルベースとICLベースの推論の次点確率の差を測定する指標である$d_textNTP$を紹介する。 閉形式線形写像により$d_textNTP$を最小化するLTV(Linear Task Vector)を開発した。
  論文  参考訳（メタデータ） (2026-05-20T05:26:38Z)
• Language-based Trial and Error Falls Behind in the Era of Experience [50.503828360874536]
  大きな言語モデル(LLM)は、言語ベースのエージェントタスクでは優れているが、見つからない非言語環境への適用性は依然として限られている。 本研究では,探索の禁止コストが主なボトルネックであることを示す。 セマンティック・エクスプロイトから探索を分離する新しいフレームワークであるSCOUTを提案する。
  論文  参考訳（メタデータ） (2026-01-29T14:08:41Z)
• SWE-Pruner: Self-Adaptive Context Pruning for Coding Agents [32.69890220986935]
  我々は,コーディングエージェントのための自己適応型コンテキストプルーニングフレームワークであるSWE-Prunerを提案する。 SWE-Prunerは、長いコンテキストに対してタスク対応の適応型プルーニングを実行する。 SWE-Bench Verifiedのようなエージェントタスクで23～54%のトークン削減を実現し、LongCodeQAのようなシングルターンタスクで最大14.84倍の圧縮を実現している。
  論文  参考訳（メタデータ） (2026-01-23T13:51:59Z)
• Where and What Matters: Sensitivity-Aware Task Vectors for Many-Shot Multimodal In-Context Learning [57.082554323521464]
  そこで我々は,STV(Sensitivity-aware Task Vector insert framework)を提案する。 キーとなる洞察は、クエリとコンテキストのペア間でのアクティベーションデルタは一貫した構造パターンを示し、挿入のための信頼できるキューを提供します。 識別されたセンシティブ・アウェア・ロケーションに基づいて、アクティベーション値をクラスタリングし、各ロケーションに対して事前クラスタリングされたアクティベーションバンクを構築し、次に強化学習を適用し、最も適したアクティベーション・バンクを選択する。
  論文  参考訳（メタデータ） (2025-11-11T13:42:13Z)
• Adaptive Task Vectors for Large Language Models [14.108866468832623]
  Adaptive Task Vectors (ATV) は、各入力クエリに条件付きタスクベクトルを動的に生成する、シンプルで効果的なフレームワークである。 ATVは、目に見えないタスクであっても、強力なパフォーマンスと一般化能力を示す。
  論文  参考訳（メタデータ） (2025-06-03T22:12:28Z)
• Self-Training Elicits Concise Reasoning in Large Language Models [23.475414693530965]
  チェーン・オブ・シント(CoT)推論により、中間トークンによるさらなる計算を大規模言語モデル(LLM)が利用できるようになった。 自己生成した簡潔な推論経路を利用する簡単な微調整法を提案する。 提案手法は,GSM8KおよびMATH上の5つのモデルファミリに対して,平均精度を維持しつつ,出力トークンの30%削減を実現する。
  論文  参考訳（メタデータ） (2025-02-27T14:14:50Z)
• Enhancing Input-Label Mapping in In-Context Learning with Contrastive Decoding [71.01099784480597]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、様々なタスクで優れる In-Context Contrastive Decoding (ICCD)を導入する。
  論文  参考訳（メタデータ） (2025-02-19T14:04:46Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Adapting Language Models to Compress Contexts [71.98287002918941]
  トランスフォーマーベースの言語モデル(LM)は強力で広く適用可能なツールであるが、その有用性は有限コンテキストウィンドウによって制限される。 本稿では,事前学習したLMを,長いコンテキストをコンパクトな要約ベクトルに圧縮可能なAutoCompressorに適応させることを提案する。 最大30,720個のトークンのシーケンスでOPTとLlama-2モデルを微調整し、AutoCompressorが長いコンテキストを使ってパープレキシティを向上できることを示す。
  論文  参考訳（メタデータ） (2023-05-24T06:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。