論文の概要: Toward Enhancing Representation Learning in Federated Multi-Task Settings

• arxiv url: http://arxiv.org/abs/2602.01626v1
• Date: Mon, 02 Feb 2026 04:39:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.902248
• Title: Toward Enhancing Representation Learning in Federated Multi-Task Settings
• Title（参考訳）: フェデレーション型マルチタスク設定における表現学習の促進に向けて
• Authors: Mehdi Setayesh, Mahdi Beitollahi, Yasser H. Khalil, Hongliang Li,
• Abstract要約: Federated Multi-task Learning (FMTL)は、異なるタスクを持つユーザのために、カスタマイズされたモデルを協調的にトレーニングすることを目指している。 そこで本研究では,すべてのモデルから表現を同時に調整する,対照的な学習対象である筋の喪失を提案する。 我々は、モデルとタスクの両方を自然に扱う実践的で通信効率の良いFMTLアルゴリズムであるFedMuscleを開発した。
• 参考スコア（独自算出の注目度）: 13.483094713610322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated multi-task learning (FMTL) seeks to collaboratively train customized models for users with different tasks while preserving data privacy. Most existing approaches assume model congruity (i.e., the use of fully or partially homogeneous models) across users, which limits their applicability in realistic settings. To overcome this limitation, we aim to learn a shared representation space across tasks rather than shared model parameters. To this end, we propose Muscle loss, a novel contrastive learning objective that simultaneously aligns representations from all participating models. Unlike existing multi-view or multi-model contrastive methods, which typically align models pairwise, Muscle loss can effectively capture dependencies across tasks because its minimization is equivalent to the maximization of mutual information among all the models' representations. Building on this principle, we develop FedMuscle, a practical and communication-efficient FMTL algorithm that naturally handles both model and task heterogeneity. Experiments on diverse image and language tasks demonstrate that FedMuscle consistently outperforms state-of-the-art baselines, delivering substantial improvements and robust performance across heterogeneous settings.
• Abstract（参考訳）: FMTL(Federated Multi-task Learning)は、データプライバシを保持しながら、異なるタスクを持つユーザのためにカスタマイズされたモデルを協調的にトレーニングすることを目指している。 既存のアプローチの多くは、ユーザ間のモデル整合性(すなわち、完全あるいは部分的に同質なモデルの使用)を前提としており、現実的な設定での適用性を制限する。 この制限を克服するために、モデルパラメータの共有よりもタスク間の共有表現空間を学習することを目的としている。 そこで本研究では,すべてのモデルから表現を同時に調整する,新しいコントラスト学習目標である筋の喪失を提案する。 従来のマルチビューやマルチモデルコントラストの手法とは異なり、筋肉の喪失はすべてのモデル表現間の相互情報の最大化と等価であるため、タスク間の依存関係を効果的に捉えることができる。 この原理に基づいて、モデルとタスクの不均一性の両方を自然に扱う実践的で通信効率のよいFMTLアルゴリズムであるFedMuscleを開発した。 多様なイメージタスクと言語タスクの実験では、FedMuscleは最先端のベースラインを一貫して上回り、不均一な設定で大幅な改善と堅牢なパフォーマンスを実現している。

関連論文リスト

• Towards Unified Modeling in Federated Multi-Task Learning via Subspace Decoupling [23.642760378344335]
  Federated Multi-Task Learning (FMTL) は、複数のクライアントがローカルデータを交換することなく異種タスクを実行できる。 既存のFMTLメソッドのほとんどは、各クライアント用にパーソナライズされたモデルを構築することに集中しており、複数の異種タスクの集約を統一モデルにサポートできない。 マルチタスクモデル統合に特化して設計された更新構造対応アグリゲーション手法であるFedDEAを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:53:21Z)
• Not All Clients Are Equal: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients [59.52341877720199]
  計算コストを伴わずに異種アーキテクチャ間の知識共有を可能にするFedMosaicを提案する。 実世界のタスクの多様性を模倣するために,40の異なるタスクにまたがるマルチモーダルPFLベンチマークを提案する。 実証研究は、FedMosaicが最先端のPFL法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• DEPHN: Different Expression Parallel Heterogeneous Network using virtual gradient optimization for Multi-task Learning [1.0705399532413615]
  マルチタスク学習(MTL)に基づく推薦システムアルゴリズムは、インターネットオペレーターがユーザを理解し、その振る舞いを予測する主要な方法である。 従来のモデルでは、共有ボットモデルとゲーティングの専門家を使用して、共有表現学習と情報の差別化を実現している。 本稿では,複数のタスクを同時にモデル化するための異なる表現並列不均一ネットワーク(DEPHN)を提案する。
  論文  参考訳（メタデータ） (2023-07-24T04:29:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。