論文の概要: Training-free Task Classification for Multi-Task Model Merging

• arxiv url: http://arxiv.org/abs/2606.22589v1
• Date: Sun, 21 Jun 2026 16:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 21:35:20.874862
• Title: Training-free Task Classification for Multi-Task Model Merging
• Title（参考訳）: マルチタスクモデル統合のための学習不要タスク分類
• Authors: Jungyong Son, Jinwook Jung, Sungyong Baik,
• Abstract要約: 以前の研究は主に1つのマージされたモデルを見つけることに焦点を当てていたが、パラメータ干渉のため、個々の専門家を過小評価することが多い。 各テスト入力に対して、トレーニング不要なタスク分類としてルーティングを定式化する。 SiMはマージモデルのパフォーマンスを大幅に改善し、個別のタスクエキスパートへのギャップを一貫して狭めます。
• 参考スコア（独自算出の注目度）: 15.100638024422741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ever since the advent of foundation models and the pre-training-finetuning paradigm, there have been numerous efforts to merge multiple task-specific experts into a single multi-task model. Prior work largely focuses on finding a single merged model, but it often underperforms individual experts due to parameter interference. To resolve this, dynamic model merging employs routing to activate task-relevant parameters per input. However, existing routers typically require either additional training with abundant labeled datasets or assume the access to task IDs of each input at inference time. In this work, we aim to close the gap to expert performance without additional training or task-ID-access assumption. To this end, we formulate routing as training-free task classification for each test input. Using singular value decomposition (SVD)-based low-rank manifold approximations for each task, SiM scores tasks by the projection residual of the test input feature onto each task manifold and routes accordingly. The task manifolds are pre-computable offline from a pretrained backbone using a small per-task support set (e.g., 32 examples per task) prior to merging process, requiring no router training and no data during the merging process. Moreover, SiM integrates seamlessly with subspace-/mask-based merging that represents task-expert via lightweight compressed task vectors, avoiding the need to store full expert parameters. Experiments across computer vision and natural language processing benchmarks under task-unknown inference demonstrate that SiM substantially improves merged-model performance and consistently narrows the gap to individual task experts.
• Abstract（参考訳）: 基礎モデルと事前学習ファインタニングパラダイムの出現以来、複数のタスク固有の専門家を単一のマルチタスクモデルにマージするための多くの取り組みが続けられてきた。 以前の研究は主に1つのマージされたモデルを見つけることに焦点を当てていたが、パラメータ干渉のため、個々の専門家を過小評価することが多い。 これを解決するため、動的モデルのマージでは、ルーティングを使用して入力毎にタスク関連パラメータを活性化する。 しかし、既存のルータは通常、豊富なラベル付きデータセットで追加のトレーニングを必要とするか、推論時に各入力のタスクIDにアクセスする必要がある。 本研究は,訓練やタスクIDアクセスの仮定を伴わずに,専門家のパフォーマンスのギャップを埋めることを目的とする。 この目的のために、各テスト入力に対して、トレーニング不要なタスク分類としてルーティングを定式化する。 各タスクに対して特異値分解(SVD)に基づく低ランク多様体近似を用いて、SiMは各タスク多様体へのテスト入力特徴の射影残差によってタスクをスコアし、それに従ってルートする。 タスク多様体は、マージプロセスの前に小さなタスク毎のサポートセット(例えば、タスク毎の32例)を使用して、事前訓練されたバックボーンからオフラインで計算可能であり、マージプロセス中にルータのトレーニングを必要とせず、データも不要である。 さらに、SiMは、軽量な圧縮されたタスクベクトルを介してタスクエキスパートを表現するサブスペース/マスクベースのマージとシームレスに統合され、完全な専門家パラメータを保存する必要がなくなる。 タスク未知推論の下でのコンピュータビジョンと自然言語処理ベンチマークによる実験により、SiMはマージモデルの性能を大幅に改善し、個々のタスクエキスパートとのギャップを一貫して狭めることを示した。

関連論文リスト

• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• Distributionally Robust Multi-Task Reinforcement Learning via Adaptive Task Sampling [11.13427204975652]
  マルチタスク強化学習は、複数のタスクにまたがるパフォーマンスを効率的に最適化するために、単一のエージェントを訓練することを目的としている。 すべてのタスクを共同で最適化することは、しばしば不均衡な学習をもたらす:エージェントはすぐに簡単なタスクを解決しますが、より難しいタスクについてゆっくりと学習します。 標準MTRLは、各タスクに同じ数の環境相互作用を割り当て、データを簡単にタスクに過度に割り当てる。 DRATSは、サンプリングタスクが解決されないように適応的に優先順位付けするアルゴリズムである。
  論文  参考訳（メタデータ） (2026-05-14T04:22:24Z)
• Task Prototype-Based Knowledge Retrieval for Multi-Task Learning from Partially Annotated Data [38.55691652000724]
  マルチタスク学習(MTL)は、自律運転やロボット工学といった現実の応用において重要である。 部分的にラベル付けされたMTLの既存の方法は、通常、ラベル付けされていないタスクからの予測に依存する。 本研究では,未ラベルタスクからの予測に頼るのではなく,堅牢なMLLを実現するためのプロトタイプベースの知識検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-12T12:27:02Z)
• StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets [14.867396697566257]
  部分学習のセットアップをゼロショット設定に拡張し、複数のデータセット上でマルチタスクモデルをトレーニングします。 我々の方法であるStableMTLは、遅延回帰のために画像生成装置を再利用する。 タスク毎の損失に対して、注意深いバランスを必要とするのではなく、統一された潜伏損失を採用し、より多くのタスクにシームレスなスケーリングを可能にします。
  論文  参考訳（メタデータ） (2025-06-09T17:59:59Z)
• Single-Input Multi-Output Model Merging: Leveraging Foundation Models for Dense Multi-Task Learning [46.51245338355645]
  モデルマージは、シングルタスクのチェックポイントをマルチタスクモデルにマージするための、柔軟で計算的に抽出可能なアプローチである。 本研究は,タスク固有デコーダの存在により,文献で研究されている単一入出力・複数出力モデルのマージ設定と定性的に異なることを示す。 SIMO設定に対する2つの単純かつ効率的な修正を提案し,統合後の特徴表現を再調整する。
  論文  参考訳（メタデータ） (2025-04-15T15:10:46Z)
• Joint-Task Regularization for Partially Labeled Multi-Task Learning [30.823282043129552]
  機械学習分野ではマルチタスク学習がますます人気になっているが、その実用性は大規模ラベル付きデータセットの必要性によって妨げられている。 本稿では, クロスタスク関係を利用して, 全タスクを1つのジョイントタスク潜在空間で同時に正規化する直感的手法であるジョイントタスク正規化(JTR)を提案する。
  論文  参考訳（メタデータ） (2024-04-02T14:16:59Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。