論文の概要: Multi-task Federated Learning with Encoder-Decoder Structure: Enabling Collaborative Learning Across Different Tasks
- arxiv url: http://arxiv.org/abs/2504.09800v1
- Date: Mon, 14 Apr 2025 02:01:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:54:25.246668
- Title: Multi-task Federated Learning with Encoder-Decoder Structure: Enabling Collaborative Learning Across Different Tasks
- Title（参考訳）: エンコーダ・デコーダ構造を用いたマルチタスクフェデレーション学習:異なるタスク間で協調学習を実現する
- Authors: Jingxuan Zhou, Weidong Bao, Ji Wang, Dayu Zhang, Xiongtao Zhang, Yaohong Zhang,
- Abstract要約: エンコーダ・デコーダ構造を用いたマルチタスク・フェデレーション学習(M-Fed)を提案する。
この構造を利用して、従来の連合学習手法を用いてタスク内知識を共有し、エンコーダから一般的な知識を抽出し、タスク間知識共有を実現する。
我々の手法は軽量でモジュラーであり、これまでの研究と比べてイノベーションを実証している。
- 参考スコア（独自算出の注目度）: 4.949677105074088
- License:
- Abstract: Federated learning has been extensively studied and applied due to its ability to ensure data security in distributed environments while building better models. However, clients participating in federated learning still face limitations, as clients with different structures or tasks cannot participate in learning together. In view of this, constructing a federated learning framework that allows collaboration between clients with different model structures and performing different tasks, enabling them to share valuable knowledge to enhance model efficiency, holds significant practical implications for the widespread application of federated learning. To achieve this goal, we propose a multi-task federated learning with encoder-decoder structure (M-Fed). Specifically, given the widespread adoption of the encoder-decoder architecture in current models, we leverage this structure to share intra-task knowledge through traditional federated learning methods and extract general knowledge from the encoder to achieve cross-task knowledge sharing. The training process is similar to traditional federated learning, and we incorporate local decoder and global decoder information into the loss function. The local decoder iteratively updates and gradually approaches the global decoder until sufficient cross-task knowledge sharing is achieved. Our method is lightweight and modular, demonstrating innovation compared to previous research. It enables clients performing different tasks to share general knowledge while maintaining the efficiency of traditional federated learning systems. We conducted experiments on two widely used benchmark datasets to verify the feasibility of M-Fed and compared it with traditional methods. The experimental results demonstrate the effectiveness of M-Fed in multi-task federated learning.
- Abstract（参考訳）: フェデレートされた学習は、より良いモデルを構築しながら、分散環境でデータセキュリティを確保する能力のために、広く研究され、適用されてきた。
しかしながら、連合学習に参加するクライアントは、異なる構造やタスクを持つクライアントが一緒に学習に参加することができないため、制限に直面します。
この観点から、異なるモデル構造を持つクライアント間のコラボレーションを可能にし、異なるタスクを実行することを可能にし、モデル効率を高めるために貴重な知識を共有することができるフェデレート学習フレームワークを構築することは、フェデレーション学習の広範な適用に重要な実践的意味を持つ。
この目的を達成するために,エンコーダ・デコーダ構造(M-Fed)を用いたマルチタスク・フェデレーション学習を提案する。
具体的には、現在のモデルでエンコーダ・デコーダアーキテクチャが広く採用されていることを踏まえ、この構造を利用して従来の連合学習手法を通じてタスク内知識を共有し、エンコーダから一般的な知識を抽出し、タスク間知識共有を実現する。
学習プロセスは従来のフェデレーション学習と類似しており、ローカルデコーダとグローバルデコーダ情報を損失関数に組み込む。
ローカルデコーダは、十分なタスク間の知識共有が達成されるまで、グローバルデコーダを反復的に更新し、徐々にアプローチする。
我々の手法は軽量でモジュラーであり、これまでの研究と比べてイノベーションを実証している。
従来の連合学習システムの効率を維持しながら、異なるタスクを実行するクライアントが一般的な知識を共有することができる。
我々は、M-Fedの有効性を検証するために、広く使われている2つのベンチマークデータセットの実験を行い、従来の手法と比較した。
実験により,マルチタスク・フェデレーション学習におけるM-Fedの有効性が示された。
関連論文リスト
- Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph
Propagation [68.13453771001522]
画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。
我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
論文 参考訳（メタデータ） (2023-06-14T13:07:48Z) - Pre-training Multi-task Contrastive Learning Models for Scientific
Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。
文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文 参考訳（メタデータ） (2023-05-23T16:47:22Z) - Concept Discovery for Fast Adapatation [42.81705659613234]
データ特徴間の構造をメタラーニングすることで、より効果的な適応を実現する。
提案手法は,概念ベースモデル非依存メタラーニング(COMAML)を用いて,合成されたデータセットと実世界のデータセットの両方に対して,構造化データの一貫した改善を実現する。
論文 参考訳（メタデータ） (2023-01-19T02:33:58Z) - Leveraging Different Learning Styles for Improved Knowledge Distillation
in Biomedical Imaging [0.9208007322096533]
我々の研究は知識多様化の概念を活用して、知識蒸留(KD)や相互学習(ML)といったモデル圧縮技術の性能を向上させる。
我々は,教師から学生(KD)への知識伝達を可能にすると同時に,学生(ML)間の協調学習を促進する統一的な枠組みで,一教師と二学生のネットワークを利用する。
教師が学生ネットワークと予測や特徴表現の形で同じ知識を共有する従来の手法とは異なり,提案手法では,教師の予測と特徴マップの学習により,より多様化した戦略を採用する。
論文 参考訳（メタデータ） (2022-12-06T12:40:45Z) - Multi-Task and Transfer Learning for Federated Learning Applications [5.224306534441244]
フェデレートされた学習により、多くの潜在的なデータ保持クライアントの分散データセットとプライベートデータセットの恩恵を受けることができる。
我々は、入力に近く、よりパーソナライズされたレイヤを出力に近づけたディープニューラルネットワークモデルをトレーニングすることを提案する。
メタラーニングに基づくフェデレーション学習が有用であることが証明された特定のシナリオを強調するためのシミュレーション結果を提供する。
論文 参考訳（メタデータ） (2022-07-17T11:48:11Z) - EEML: Ensemble Embedded Meta-learning [5.9514420658483935]
本稿では,事前知識を多種多様な専門家に整理するために,マルチモデルアンサンブルを明示的に活用する組込みメタ学習アルゴリズム(EEML)を提案する。
トレーニングプロセスのエキスパートに多様なタスクを提供し、テストフェーズで専門家がどのように協力するかを指示するために、クラスタメカニズムを組み込むタスクに依存しています。
実験結果から,提案手法は,最近の最先端技術に優れることが示された。
論文 参考訳（メタデータ） (2022-06-18T12:37:17Z) - A Unified Continuous Learning Framework for Multi-modal Knowledge
Discovery and Pre-training [73.7507857547549]
本稿では,継続的学習フレームワークにおける知識発見とマルチモーダル事前学習の統合を提案する。
知識発見のために、事前訓練されたモデルを用いてグラフ上のクロスモーダルリンクを識別する。
モデル事前トレーニングでは、モデル更新をガイドする外部知識として知識グラフが使用される。
論文 参考訳（メタデータ） (2022-06-11T16:05:06Z) - Towards a Universal Continuous Knowledge Base [49.95342223987143]
複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。
テキスト分類実験は有望な結果を示す。
我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
論文 参考訳（メタデータ） (2020-12-25T12:27:44Z) - Practical One-Shot Federated Learning for Cross-Silo Setting [114.76232507580067]
ワンショット・フェデレーション・ラーニングは、クロスサイロ環境でフェデレーション・ラーニングを適用するための有望なアプローチである。
本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。
知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。
論文 参考訳（メタデータ） (2020-10-02T14:09:10Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。