論文の概要: CALM: Consensus-Aware Localized Merging for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2506.13406v1
• Date: Mon, 16 Jun 2025 12:19:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.38121
• Title: CALM: Consensus-Aware Localized Merging for Multi-Task Learning
• Title（参考訳）: CALM:マルチタスク学習のためのコンセンサス対応ローカライズドマージ
• Authors: Kunda Yan, Min Zhang, Sen Cui, Zikun Qu, Bo Jiang, Feng Liu, Changshui Zhang,
• Abstract要約: モデルマージは、複数の微調整モデルの強みを統一モデルに統合することを目的としている。 既存のメソッドはタスク演算によって表現され、大域的および局所的な手法に分類される。 本稿では,グローバルなタスクコンセンサスに整合した局所情報を含むCALM法を提案する。
• 参考スコア（独自算出の注目度）: 45.21402034740922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging aims to integrate the strengths of multiple fine-tuned models into a unified model while preserving task-specific capabilities. Existing methods, represented by task arithmetic, are typically classified into global- and local-aware methods. However, global-aware methods inevitably cause parameter interference, while local-aware methods struggle to maintain the effectiveness of task-specific details in the merged model. To address these limitations, we propose a Consensus-Aware Localized Merging (CALM) method which incorporates localized information aligned with global task consensus, ensuring its effectiveness post-merging. CALM consists of three key components: (1) class-balanced entropy minimization sampling, providing a more flexible and reliable way to leverage unsupervised data; (2) an efficient-aware framework, selecting a small set of tasks for sequential merging with high scalability; (3) a consensus-aware mask optimization, aligning localized binary masks with global task consensus and merging them conflict-free. Experiments demonstrate the superiority and robustness of our CALM, significantly outperforming existing methods and achieving performance close to traditional MTL.
• Abstract（参考訳）: モデルマージは、タスク固有の機能を保持しながら、複数の微調整されたモデルの強みを統一モデルに統合することを目的としている。 既存のメソッドはタスク演算によって表現され、大域的および局所的な手法に分類される。 しかし,グローバル・アウェア法は必然的にパラメータ干渉を引き起こすが,ローカル・アウェア法は統合モデルにおけるタスク固有詳細の有効性を維持するのに苦労する。 これらの制約に対処するため,グローバルなタスクコンセンサスに整合した局所化情報を組み込んだConsensus-Aware Localized Merging (CALM)法を提案する。 CALM は,(1) クラスバランスのエントロピー最小化サンプリング,(2) 教師なしデータを活用するためのより柔軟で信頼性の高い方法,(2) 高いスケーラビリティで逐次マージするタスクの小さなセットを選択する効率的なフレームワーク,(3) コンセンサスを意識したマスク最適化,局所化されたバイナリマスクのグローバルタスクコンセンサスとの整合化,およびコンフリクトのないマージなど,3つの重要なコンポーネントから構成される。 実験により,CALMの優位性とロバスト性を実証し,既存の手法を著しく上回り,従来のMTLに近い性能を実現した。

関連論文リスト

• Towards Unified Modeling in Federated Multi-Task Learning via Subspace Decoupling [23.642760378344335]
  Federated Multi-Task Learning (FMTL) は、複数のクライアントがローカルデータを交換することなく異種タスクを実行できる。 既存のFMTLメソッドのほとんどは、各クライアント用にパーソナライズされたモデルを構築することに集中しており、複数の異種タスクの集約を統一モデルにサポートできない。 マルチタスクモデル統合に特化して設計された更新構造対応アグリゲーション手法であるFedDEAを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:53:21Z)
• CoBa: Convergence Balancer for Multitask Finetuning of Large Language Models [23.50705152648991]
  マルチタスク学習(MTL)は,大規模言語モデル(LLM)の微調整に有効である LLM の既存の MTL 戦略は、計算集約的であるか、同時タスク収束の確保に失敗したかのいずれかによって、しばしば不足する。 本稿では,タスク収束バランスを最小限の計算オーバーヘッドで効果的に管理する新しいMTL手法であるCoBaを提案する。
  論文  参考訳（メタデータ） (2024-10-09T10:20:32Z)
• Localize-and-Stitch: Efficient Model Merging via Sparse Task Arithmetic [22.73746175315071]
  ローカライズ・アンド・スティッチ(Localize-and-Stitch)は、モデルをローカライズされた方法でマージする新しいアプローチである。 提案手法は,微調整性能に寄与するスパース領域を効果的に検出できることを実証する。 また,本アルゴリズムはモデル圧縮を容易にし,事前学習した知識を保存する。
  論文  参考訳（メタデータ） (2024-08-24T19:14:02Z)
• Model Merging and Safety Alignment: One Bad Model Spoils the Bunch [70.614652904151]
  LLM(Merging Large Language Models)は、複数の専門家のLLMを1つの汎用モデルに結合するコスト効率のよい手法である。 現在のアプローチでは、マージ時の安全性の整合性の重要性を見落とし、非常に不整合のモデルに繋がることが多い。 我々は,既存の手法がドメインの専門知識を伝達するだけでなく,ミスアライメントを伝播することを示すために,いくつかの一般的なモデルマージ手法を評価した。
  論文  参考訳（メタデータ） (2024-06-20T17:59:58Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。