論文の概要: Distributional Alignment as a Criterion for Designing Task Vectors in In-Context Learning

• arxiv url: http://arxiv.org/abs/2605.20730v1
• Date: Wed, 20 May 2026 05:26:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.495695
• Title: Distributional Alignment as a Criterion for Designing Task Vectors in In-Context Learning
• Title（参考訳）: 文脈学習におけるタスクベクトル設計基準としての分布アライメント
• Authors: Jihoon Kwon, Jiwon Choi, Jy-yong Sohn,
• Abstract要約: 本稿では,タスクベクトルを用いた推論は,その予測分布とICLの予測分布を一致させるべきであると論じる。 本稿では,タスクベクトルベースとICLベースの推論の次点確率の差を測定する指標である$d_textNTP$を紹介する。 閉形式線形写像により$d_textNTP$を最小化するLTV(Linear Task Vector)を開発した。
• 参考スコア（独自算出の注目度）: 6.840854574584369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) allows large language models (LLMs) to adapt to new tasks through demonstrations, yet it suffers from escalating inference costs as context length increases. While task vectors offer a promising alternative by compressing demonstrations into compact hidden-state representations, their quality has been evaluated only through downstream task accuracy. This indirect criterion provides limited insight into how to design more effective task vector extraction methods. In this paper, we posit that inference using task vectors should align their predictive distribution with that of ICL. To quantify this, we introduce $d_{\text{NTP}}$, a metric that measures the discrepancy in next-token probabilities between task vector-based and ICL-based inference. Our empirical analysis reveals that $d_{\text{NTP}}$ serves as a performance proxy, exhibiting a strong negative correlation with downstream accuracy. Motivated by this, we develop Linear Task Vector (LTV), a method designed to minimize $d_{\text{NTP}}$ via a closed-form linear mapping that estimates demonstration effects through regression. Across eight classification benchmarks and five LLMs, LTV consistently outperforms existing task vector baselines, improving average accuracy by 9.2\% while reducing inference latency. We further show that LTV outperforms the baselines on regression tasks. Moreover, we investigate the transferability of LTV across different model scales; an aspect that has remained nascent in task vector research. Specifically, we empirically show that task vectors from a larger model can enhance a smaller model's performance by 6.4\%, suggesting a new utility for extracted task representations.
• Abstract（参考訳）: インコンテキスト学習(ICL)は、大規模言語モデル(LLM)がデモを通じて新しいタスクに適応することを可能にするが、コンテキスト長が増加するにつれて推論コストの増大に悩まされる。 タスクベクトルはデモをコンパクトな隠れ状態表現に圧縮することで有望な代替手段を提供するが、その品質は下流のタスク精度によって評価されている。 この間接的基準は、より効率的なタスクベクトル抽出方法の設計方法に関する限られた洞察を与える。 本稿では,タスクベクトルを用いた推論は,その予測分布をICLと一致させるべきであると仮定する。 これの定量化には、$d_{\text{NTP}}$を導入します。 我々の実証分析によると、$d_{\text{NTP}}$はパフォーマンスプロキシとして機能し、下流の精度と強い負の相関を示す。 そこで我々はLTV(Linear Task Vector, LTV)を開発し, 回帰による実演効果を推定する閉形式線形写像を用いて$d_{\text{NTP}}$を最小化する手法を提案する。 8つの分類ベンチマークと5つのLLMで、LTVは既存のタスクベクトルベースラインを一貫して上回り、平均精度を9.2\%改善し、推論遅延を低減している。 さらに,LTVは回帰タスクのベースラインよりも優れていることを示す。 さらに,様々なモデルスケールにおけるLTVの転送可能性について検討した。 具体的には、より大きなモデルからのタスクベクトルがより小さなモデルの性能を6.4 %向上させることができることを実証的に示し、抽出されたタスク表現のための新しいユーティリティを提案する。

関連論文リスト

• DeCoVec: Building Decoding Space based Task Vector for Large Language Models via In-Context Learning [6.461940812531588]
  textscDeCoVecは、少数ショットプロンプトとゼロショットプロンプトの出力ロジット分布の違いとしてタスクの本質をキャプチャする。 textscDeCoVecは標準のショットベースラインを一貫して上回り、平均精度は+5.50まで向上する。
  論文  参考訳（メタデータ） (2026-04-13T07:42:54Z)
• Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
  本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。 提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。 そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
  論文  参考訳（メタデータ） (2026-02-01T17:29:43Z)
• Stable Diffusion Models are Secretly Good at Visual In-Context Learning [9.829303881652548]
  既成の安定拡散モデルが視覚的文脈内学習(V-ICL)に再利用可能であることを示す。 安定拡散アーキテクチャの自己アテンション層内でのインプレースアテンション再計算を定式化する。 この再利用された安定拡散モデルは、6つの異なるタスクに適応可能であることを示す。
  論文  参考訳（メタデータ） (2025-08-13T17:08:22Z)
• Adaptive Task Vectors for Large Language Models [14.108866468832623]
  Adaptive Task Vectors (ATV) は、各入力クエリに条件付きタスクベクトルを動的に生成する、シンプルで効果的なフレームワークである。 ATVは、目に見えないタスクであっても、強力なパフォーマンスと一般化能力を示す。
  論文  参考訳（メタデータ） (2025-06-03T22:12:28Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• LoFiT: Localized Fine-tuning on LLM Representations [60.99814930367597]
  LoFiT(Localized Fine-Tuning on LLM Representations)というフレームワークを導入する。 LoFiTは、特定のタスクを学習する上で最も重要なアテンションヘッドのサブセットを特定し、それからオフセットベクトルをトレーニングして、選択したヘッドでモデルの隠れ表現に追加する。 真理性や推論タスクにおいて,LoFiTの介入ベクトルは推論時間干渉などの表現介入手法のベクトルよりもLLM適応に有効であることがわかった。
  論文  参考訳（メタデータ） (2024-06-03T17:45:41Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。