論文の概要: Federated Multi-Task Learning on Non-IID Data Silos: An Experimental
Study
- arxiv url: http://arxiv.org/abs/2402.12876v1
- Date: Tue, 20 Feb 2024 10:13:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 16:10:46.781609
- Title: Federated Multi-Task Learning on Non-IID Data Silos: An Experimental
Study
- Title(参考訳): 非IIDデータサイロにおけるフェデレーションマルチタスク学習 : 実験的検討
- Authors: Yuwen Yang, Yuxiang Lu, Suizhi Huang, Shalayiding Sirejiding, Hongtao
Lu, Yue Ding
- Abstract要約: FMTL(Federated Multi-Task Learning)アプローチは、Federated Learning(FL)とMulti-Task Learning(MTL)の利点を統合する。
本稿では,FMTLパラダイムの体系的評価のための新しいフレームワークFMTL-Benchを紹介する。
- 参考スコア(独自算出の注目度): 18.601886059536326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The innovative Federated Multi-Task Learning (FMTL) approach consolidates the
benefits of Federated Learning (FL) and Multi-Task Learning (MTL), enabling
collaborative model training on multi-task learning datasets. However, a
comprehensive evaluation method, integrating the unique features of both FL and
MTL, is currently absent in the field. This paper fills this void by
introducing a novel framework, FMTL-Bench, for systematic evaluation of the
FMTL paradigm. This benchmark covers various aspects at the data, model, and
optimization algorithm levels, and comprises seven sets of comparative
experiments, encapsulating a wide array of non-independent and identically
distributed (Non-IID) data partitioning scenarios. We propose a systematic
process for comparing baselines of diverse indicators and conduct a case study
on communication expenditure, time, and energy consumption. Through our
exhaustive experiments, we aim to provide valuable insights into the strengths
and limitations of existing baseline methods, contributing to the ongoing
discourse on optimal FMTL application in practical scenarios. The source code
will be made available for results replication.
- Abstract(参考訳): 革新的フェデレーションマルチタスク学習(fmtl)アプローチは、フェデレーション学習(fl)とマルチタスク学習(mtl)の利点を統合し、マルチタスク学習データセットにおける協調モデルトレーニングを可能にする。
しかし、FLとMTLのユニークな特徴を統合した総合的な評価手法が現在、この分野に存在しない。
本稿では,FMTLパラダイムの体系的評価のための新しいフレームワークFMTL-Benchを導入することで,この空白を埋める。
このベンチマークは、データ、モデル、最適化アルゴリズムレベルの様々な側面をカバーし、7つの比較実験セットで構成され、非独立かつ同一分散(非iid)データパーティショニングシナリオをカプセル化する。
本稿では,多様な指標のベースラインを比較するための体系的なプロセスを提案し,通信費,時間,エネルギー消費に関する事例研究を行う。
本研究の目的は,既存のベースライン手法の強度と限界に関する貴重な知見を提供することであり,実践シナリオにおける最適なFMTLアプリケーションに関する議論の進行に寄与する。
ソースコードは結果の複製のために利用可能になる。
関連論文リスト
- Towards Principled Task Grouping for Multi-Task Learning [14.3385939018772]
マルチタスク学習(MTL)におけるタスクグループ化への新しいアプローチを提案する。
我々の手法は、転送ゲインを構築するための制限的な仮定に依存しない、より理論的に基礎付けられた方法を提供する。
論文 参考訳(メタデータ) (2024-02-23T13:51:20Z) - 3FM: Multi-modal Meta-learning for Federated Tasks [2.117841684082203]
マルチモーダルなフェデレーションタスクに特化して設計されたメタラーニングフレームワークを提案する。
当社のアプローチは,新たなモダリティに曝露した場合に,フェデレーションモデルによる堅牢な適応を可能にする必要性に起因している。
提案アルゴリズムは,欠落したモダリティシナリオのサブセットにおいて,ベースラインよりも優れた性能を実現することを示す。
論文 参考訳(メタデータ) (2023-12-15T20:03:24Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [79.9201824151389]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
推論フェーズの間、MLAはテスト時間不確実性に基づくモデル融合機構を使用して、マルチモーダル情報を統合する。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。
本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。
この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-09-16T11:30:29Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - DEPHN: Different Expression Parallel Heterogeneous Network using virtual
gradient optimization for Multi-task Learning [1.0705399532413615]
マルチタスク学習(MTL)に基づく推薦システムアルゴリズムは、インターネットオペレーターがユーザを理解し、その振る舞いを予測する主要な方法である。
従来のモデルでは、共有ボットモデルとゲーティングの専門家を使用して、共有表現学習と情報の差別化を実現している。
本稿では,複数のタスクを同時にモデル化するための異なる表現並列不均一ネットワーク(DEPHN)を提案する。
論文 参考訳(メタデータ) (2023-07-24T04:29:00Z) - Multi-Task Learning with Summary Statistics [4.871473117968554]
様々な情報源からの要約統計を利用した柔軟なマルチタスク学習フレームワークを提案する。
また,Lepskiの手法の変種に基づく適応パラメータ選択手法を提案する。
この研究は、さまざまな領域にわたる関連するモデルをトレーニングするための、より柔軟なツールを提供する。
論文 参考訳(メタデータ) (2023-07-05T15:55:23Z) - Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳(メタデータ) (2023-06-16T08:13:41Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-05-29T05:20:38Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳(メタデータ) (2020-12-01T11:46:03Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。