論文の概要: Hierarchical Wasserstein Merging for Multi-Domain Multi-Task Learning: From Specialists to a Generalist

• arxiv url: http://arxiv.org/abs/2609.06406v1
• Date: Sun, 06 Sep 2026 05:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 05:43:07.14116
• Title: Hierarchical Wasserstein Merging for Multi-Domain Multi-Task Learning: From Specialists to a Generalist
• Title（参考訳）: マルチタスク学習のための階層型ワッサースタイン統合:スペシャリストからジェネラリストへ
• Abstract要約: Hierarchical Wasserstein Merging (HWM)は、各ドメインタスクスペシャリストを共有サポート上に隠された表現の分布としてモデル化する表現レベルフレームワークである。 HWMはタスクレベルおよびグローバルなWassersteinバリセンタを構築して、タスク内ドメインの変動とクロスタスク構造をキャプチャする。 4つのNLPタスクを4つの領域にまたがって実験した結果,HWMはMD-MTL設定において優れた効率性と一般化能力を発揮することがわかった。
• 参考スコア（独自算出の注目度）: 12.324535600143173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-domain multi-task learning (MD-MTL) aims to build a single generalist model that performs well across heterogeneous domains and tasks. However, joint training often suffers from interference under distribution shifts. Existing model merging methods mostly operate on model parameters while overlooking the geometric structure of latent representation distributions across domains and tasks. To address these limitations, we propose Hierarchical Wasserstein Merging (HWM), a representation-level framework that models each domain-task specialist as a distribution of hidden representations on a shared support. HWM constructs task-level and global Wasserstein barycenters to capture within-task domain variation and cross-task structure, enabling either training-free specialist aggregation by Wasserstein-derived weights or training-based generalist learning through a hybrid Wasserstein alignment loss. Experiments on four NLP tasks across four domains per task show that HWM achieves superior effectiveness and generalization capability in MD-MTL settings.
• Abstract（参考訳）: マルチドメインマルチタスク学習(MD-MTL)は、ヘテロジニアスドメインやタスク間でうまく機能する単一のジェネラリストモデルを構築することを目的としている。 しかし、共同訓練はしばしば分配シフトの干渉に悩まされる。 既存のモデルマージ手法は主にモデルパラメータ上で動作し、ドメインやタスク間の潜在表現分布の幾何学的構造を見下ろしている。 これらの制約に対処するため、共有サポート上に隠された表現の分布として各ドメイン・タスクの専門家をモデル化する表現レベルフレームワークである階層型ワッサースタイン・マージング(HWM)を提案する。 HWMはタスクレベルおよびグローバルなWassersteinバリセンタを構築して、Wasserstein由来の重みによるトレーニング不要なスペシャリストアグリゲーションや、ハイブリッドWassersteinアライメント損失によるトレーニングベースジェネリスト学習を可能にする。 4つのNLPタスクを4つの領域にまたがって実験した結果,HWMはMD-MTL設定において優れた効率性と一般化能力を発揮することがわかった。

関連論文リスト

• Bridging Domains through Subspace-Aware Model Merging [27.981999508897847]
  モデルマージは複数のタスク固有のモデルを単一の統合モデルに統合する。 最近の研究は、分散やマルチタスクのシナリオにおけるマージ性能の改善に進歩している。 異なる領域に微調整されたモデルが、目に見えない領域への一般化にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2026-03-06T00:04:24Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• OFA-MAS: One-for-All Multi-Agent System Topology Design based on Mixture-of-Experts Graph Generative Models [57.94189874119267]
  マルチエージェントシステム(MAS)は複雑な問題を解決するための強力なパラダイムを提供する。 現在のグラフ学習に基づく設計手法は、しばしば「1対1」のパラダイムに準拠している。 自然言語で記述されたタスクに対して適応的な協調グラフを生成する一対一のフレームワークOFA-TADを提案する。
  論文  参考訳（メタデータ） (2026-01-19T12:23:44Z)
• OWL: Optimized Workforce Learning for General Multi-Agent Assistance in Real-World Task Automation [65.15955645757705]
  専門的な実行から戦略的計画を切り離す階層的なマルチエージェントフレームワークであるWorkforceを紹介します。 推論中、Workforceはワーカーエージェントの追加や修正によって新しいドメインにシームレスに適応する。 トレーニングには、ドメイン間の一般化を改善する最適化されたワークフォース学習(OWL)を導入する。
  論文  参考訳（メタデータ） (2025-05-29T17:51:58Z)
• ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
  Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:01:45Z)
• Predicting Multi-Agent Specialization via Task Parallelizability [8.465921582175426]
  タスクレギュラーやチームサイズに応じて、特殊化がパフォーマンスを改善することを予測したクローズドフォーム境界を示す。 反対のベンチマークを表す2つの標準MARLベンチマークでモデルを検証した。 Overcooked-AIにおける3つのフォローアップ実験は、このモデルがより複雑な空間的および資源的ボトルネックを持つ環境で動作することを示した。
  論文  参考訳（メタデータ） (2025-03-19T21:33:48Z)
• GenRL: Multimodal-foundation world models for generalization in embodied agents [12.263162194821787]
  強化学習(RL)は、タスクごとに複雑な報酬設計を必要とするため、スケールアップが難しい。 現在の基盤視覚言語モデル(VLM)は、微調整やその他の適応を具体的文脈で適用する必要がある。 このような領域におけるマルチモーダルデータの欠如は、具体化されたアプリケーションの基盤モデルを開発する上での障害である。
  論文  参考訳（メタデータ） (2024-06-26T03:41:48Z)
• MultiMatch: Multi-task Learning for Semi-supervised Domain Generalization [55.06956781674986]
  我々は、各ソースドメインにいくつかのラベル情報がある半教師付きドメイン一般化タスクの解決に頼っている。 我々は、MultiMatchを提案し、FixMatchをマルチタスク学習フレームワークに拡張し、SSDGのための高品質な擬似ラベルを生成する。 提案手法の有効性を検証し,いくつかのベンチマークDGデータセット上で既存の半教師付き手法とSSDG法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T14:44:33Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Rethinking Hard-Parameter Sharing in Multi-Task Learning [20.792654758645302]
  マルチタスク学習(MTL)におけるハードパラメータ共有により、タスクはモデルのパラメータの一部を共有でき、ストレージコストを低減し、予測精度を向上させることができる。 共通の共有プラクティスは、タスク毎に別々のトップレイヤを使用しながら、タスク間でディープニューラルネットワークのボトムレイヤを共有することだ。 異なるボトム層パラメータを使用することで、一般的なプラクティスよりも大幅にパフォーマンスが向上する可能性がある。
  論文  参考訳（メタデータ） (2021-07-23T17:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。