論文の概要: Variational Task Vector Composition

• arxiv url: http://arxiv.org/abs/2509.18208v1
• Date: Sun, 21 Sep 2025 02:46:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.487742
• Title: Variational Task Vector Composition
• Title（参考訳）: 可変タスクベクトル合成
• Authors: Boyuan Zhang, Yingjun Du, Xiantong Zhen, Ling Shao,
• Abstract要約: 本稿では,構成係数を潜在変数とみなし,ベイズ推定フレームワークで推定する変動タスクベクトル合成を提案する。 タスクベクトルにおける構造的冗長性の観測に動機付けられ,空間性を促進するスパイク・アンド・スラブ前処理を導入する。 本研究では, 構成係数を不確実性と重要度の両方に基づいてフィルタすることにより, 制御可能な後部構造を構築するゲートサンプリング機構を開発した。
• 参考スコア（独自算出の注目度）: 53.476598858325985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task vectors capture how a model changes during fine-tuning by recording the difference between pre-trained and task-specific weights. The composition of task vectors, a key operator in task arithmetic, enables models to integrate knowledge from multiple tasks without incurring additional inference costs. In this paper, we propose variational task vector composition, where composition coefficients are taken as latent variables and estimated in a Bayesian inference framework. Unlike previous methods that operate at the task level, our framework focuses on sample-specific composition. Motivated by the observation of structural redundancy in task vectors, we introduce a Spike-and-Slab prior that promotes sparsity and preserves only the most informative components. To further address the high variance and sampling inefficiency in sparse, high-dimensional spaces, we develop a gated sampling mechanism that constructs a controllable posterior by filtering the composition coefficients based on both uncertainty and importance. This yields a more stable and interpretable variational framework by deterministically selecting reliable task components, reducing sampling variance while improving transparency and generalization. Experimental results demonstrate that our method consistently outperforms existing approaches across all datasets by selectively leveraging the most reliable and informative components in task vectors. These findings highlight the practical value of our approach, establishing a new standard for efficient and effective task vector composition.
• Abstract（参考訳）: タスクベクトルは、トレーニング済みとタスク固有の重みの違いを記録することによって、微調整中にモデルがどのように変化するかをキャプチャする。 タスクベクトルの構成は、タスク演算における重要な演算子であり、モデルが追加の推論コストを発生させることなく、複数のタスクからの知識を統合することを可能にする。 本稿では,構成係数を潜在変数とみなし,ベイズ推論の枠組みで推定する変分タスクベクトル合成を提案する。 タスクレベルで動作している従来の方法とは異なり、我々のフレームワークはサンプル固有の構成に焦点を当てている。 タスクベクトルにおける構造的冗長性の観測によって動機づけられたスパイク・アンド・スラブ(Spike-and-Slab)の先行モデルを導入する。 疎小かつ高次元空間における高分散・サンプリング非効率性にさらに対処するため, 構成係数を不確実性と重要度の両方に基づいてフィルタリングすることにより, 制御可能な後部を構成するゲートサンプリング機構を開発した。 これにより、信頼性のあるタスクコンポーネントを決定論的に選択し、サンプリング分散を低減し、透明性と一般化を改善し、より安定で解釈可能な変分フレームワークが得られる。 実験結果から,本手法はタスクベクトルの最も信頼性が高く,情報性の高いコンポーネントを選択的に活用することにより,全データセットにおける既存手法よりも一貫して優れていることが示された。 これらの結果は,提案手法の実用的価値を強調し,効率的なタスクベクトル合成のための新しい標準を確立した。

関連論文リスト

• Reverse Probing: Evaluating Knowledge Transfer via Finetuned Task Embeddings for Coreference Resolution [23.375053899418504]
  複雑なソースタスクから凍結表現を探索する代わりに、複数の単純なソースタスクから1つのターゲットタスクへの埋め込みの有効性について検討する。 この結果,タスクの埋め込みは,意味的類似性タスクが最も有益であることが示され,コア参照の解決に大いに有用であることが判明した。
  論文  参考訳（メタデータ） (2025-01-31T17:12:53Z)
• Revisiting Weight Averaging for Model Merging [16.503826062785773]
  モデルマージは、個別に調整されたモデルのパラメータを追加のトレーニングなしで組み合わせることで、マルチタスク学習者を構築することを目的としている。 ウェイト平均化は、ウェイト平均化自身を中心としたタスクベクトルを暗黙的に誘導する。 これらの中心となるタスクベクトルに低ランク近似を適用することにより、マージ性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-12-11T06:29:20Z)
• Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
  本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。 このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。 本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T07:54:08Z)
• CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
  現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。 学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。 本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
  論文  参考訳（メタデータ） (2024-06-07T19:10:35Z)
• ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer [71.82644727907146]
  多様な双方向の高密度予測タスクに対して,$underlineComP$lementary $underlinetr$ansformer, $textbfComPtr$を提案する。 ComPtrは異なる入力を等しく扱い、変換器上にシーケンス・ツー・シーケンスの形で効率的な密な相互作用モデルを構築する。
  論文  参考訳（メタデータ） (2023-07-23T15:17:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。