Fugu-MT 論文翻訳(概要): Federated Multi-Task Learning on Non-IID Data Silos: An Experimental Study

論文の概要: Federated Multi-Task Learning on Non-IID Data Silos: An Experimental Study

arxiv url: http://arxiv.org/abs/2402.12876v1
Date: Tue, 20 Feb 2024 10:13:44 GMT
ステータス: 処理完了
システム内更新日: 2024-02-21 16:10:46.781609
Title: Federated Multi-Task Learning on Non-IID Data Silos: An Experimental Study
Title（参考訳）: 非IIDデータサイロにおけるフェデレーションマルチタスク学習 : 実験的検討
Authors: Yuwen Yang, Yuxiang Lu, Suizhi Huang, Shalayiding Sirejiding, Hongtao Lu, Yue Ding
Abstract要約: FMTL(Federated Multi-Task Learning)アプローチは、Federated Learning(FL)とMulti-Task Learning(MTL)の利点を統合する。本稿では,FMTLパラダイムの体系的評価のための新しいフレームワークFMTL-Benchを紹介する。
参考スコア（独自算出の注目度）: 18.601886059536326
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The innovative Federated Multi-Task Learning (FMTL) approach consolidates the benefits of Federated Learning (FL) and Multi-Task Learning (MTL), enabling collaborative model training on multi-task learning datasets. However, a comprehensive evaluation method, integrating the unique features of both FL and MTL, is currently absent in the field. This paper fills this void by introducing a novel framework, FMTL-Bench, for systematic evaluation of the FMTL paradigm. This benchmark covers various aspects at the data, model, and optimization algorithm levels, and comprises seven sets of comparative experiments, encapsulating a wide array of non-independent and identically distributed (Non-IID) data partitioning scenarios. We propose a systematic process for comparing baselines of diverse indicators and conduct a case study on communication expenditure, time, and energy consumption. Through our exhaustive experiments, we aim to provide valuable insights into the strengths and limitations of existing baseline methods, contributing to the ongoing discourse on optimal FMTL application in practical scenarios. The source code will be made available for results replication.
Abstract（参考訳）: 革新的フェデレーションマルチタスク学習(fmtl)アプローチは、フェデレーション学習(fl)とマルチタスク学習(mtl)の利点を統合し、マルチタスク学習データセットにおける協調モデルトレーニングを可能にする。しかし、FLとMTLのユニークな特徴を統合した総合的な評価手法が現在、この分野に存在しない。本稿では,FMTLパラダイムの体系的評価のための新しいフレームワークFMTL-Benchを導入することで,この空白を埋める。このベンチマークは、データ、モデル、最適化アルゴリズムレベルの様々な側面をカバーし、7つの比較実験セットで構成され、非独立かつ同一分散(非iid)データパーティショニングシナリオをカプセル化する。本稿では,多様な指標のベースラインを比較するための体系的なプロセスを提案し,通信費,時間,エネルギー消費に関する事例研究を行う。本研究の目的は,既存のベースライン手法の強度と限界に関する貴重な知見を提供することであり,実践シナリオにおける最適なFMTLアプリケーションに関する議論の進行に寄与する。ソースコードは結果の複製のために利用可能になる。

関連論文リスト

FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [64.50893177169996]
フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。マルチモーダルなヘテロジニアスシナリオにおけるMLLMのファインチューニングにおける様々なダウンストリームタスクを評価するためのベンチマークを提案する。我々は,2つのモダリティに依存しない戦略とともに,4つの代表的FL手法を統合する汎用FedMLLMフレームワークを開発した。
論文参考訳（メタデータ） (2024-11-22T04:09:23Z)
Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2024-10-14T16:09:38Z)
Towards Principled Task Grouping for Multi-Task Learning [14.3385939018772]
マルチタスク学習(MTL)におけるタスクグループ化への新しいアプローチを提案する。我々の手法は、転送ゲインを構築するための制限的な仮定に依存しない、より理論的に基礎付けられた方法を提供する。
論文参考訳（メタデータ） (2024-02-23T13:51:20Z)
UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2023-09-16T11:30:29Z)
FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文参考訳（メタデータ） (2023-09-01T09:40:36Z)
DEPHN: Different Expression Parallel Heterogeneous Network using virtual gradient optimization for Multi-task Learning [1.0705399532413615]
マルチタスク学習(MTL)に基づく推薦システムアルゴリズムは、インターネットオペレーターがユーザを理解し、その振る舞いを予測する主要な方法である。従来のモデルでは、共有ボットモデルとゲーティングの専門家を使用して、共有表現学習と情報の差別化を実現している。本稿では,複数のタスクを同時にモデル化するための異なる表現並列不均一ネットワーク(DEPHN)を提案する。
論文参考訳（メタデータ） (2023-07-24T04:29:00Z)
Multi-Task Learning with Summary Statistics [4.871473117968554]
様々な情報源からの要約統計を利用した柔軟なマルチタスク学習フレームワークを提案する。また,Lepskiの手法の変種に基づく適応パラメータ選択手法を提案する。この研究は、さまざまな領域にわたる関連するモデルをトレーニングするための、より柔軟なツールを提供する。
論文参考訳（メタデータ） (2023-07-05T15:55:23Z)
Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文参考訳（メタデータ） (2023-06-16T08:13:41Z)
Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文参考訳（メタデータ） (2023-05-29T05:20:38Z)
Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis [11.368438990334397]
我々は,独立した一助的指導を受けるための自己指導型学習戦略を開発する。我々は3つの公開マルチモーダルベースラインデータセットについて広範な実験を行った。提案手法は,人間の注釈付きアンモダルラベルと同等の性能を達成している。
論文参考訳（メタデータ） (2021-02-09T14:05:02Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。