論文の概要: Federated Multi-Objective Learning
- arxiv url: http://arxiv.org/abs/2310.09866v3
- Date: Mon, 8 Jan 2024 17:47:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 22:50:29.534175
- Title: Federated Multi-Objective Learning
- Title(参考訳): フェデレーション多目的学習
- Authors: Haibo Yang, Zhuqing Liu, Jia Liu, Chaosheng Dong, Michinari Momma
- Abstract要約: 複数のクライアントを用いたFMOL(Federated Multi-Objective Learning)フレームワークを提案する。
私たちのFMOLフレームワークは、異なるクライアント間で異なる目的関数セットを提供し、幅広いアプリケーションをサポートします。
本フレームワークでは,FSMGDA (Federated Multi-gradient descent Averaging) とFSMGDA (Federated Multi-gradient descent Averaging) という2つの新しいFMOOアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 22.875284692358683
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In recent years, multi-objective optimization (MOO) emerges as a foundational
problem underpinning many multi-agent multi-task learning applications.
However, existing algorithms in MOO literature remain limited to centralized
learning settings, which do not satisfy the distributed nature and data privacy
needs of such multi-agent multi-task learning applications. This motivates us
to propose a new federated multi-objective learning (FMOL) framework with
multiple clients distributively and collaboratively solving an MOO problem
while keeping their training data private. Notably, our FMOL framework allows a
different set of objective functions across different clients to support a wide
range of applications, which advances and generalizes the MOO formulation to
the federated learning paradigm for the first time. For this FMOL framework, we
propose two new federated multi-objective optimization (FMOO) algorithms called
federated multi-gradient descent averaging (FMGDA) and federated stochastic
multi-gradient descent averaging (FSMGDA). Both algorithms allow local updates
to significantly reduce communication costs, while achieving the {\em same}
convergence rates as those of their algorithmic counterparts in the
single-objective federated learning. Our extensive experiments also corroborate
the efficacy of our proposed FMOO algorithms.
- Abstract(参考訳): 近年、多目的最適化(MOO)は多くのマルチエージェントマルチタスク学習アプリケーションを支える基礎的な問題として現れている。
しかし,MOO文学における既存のアルゴリズムは,マルチエージェントマルチタスク学習アプリケーションの分散性やデータプライバシ要求を満足しない集中型学習設定に限定されている。
これにより、複数のクライアントがMOO問題を分散的かつ協調的に解決し、トレーニングデータをプライベートに保ちながら、新しいFMOL(Federated Multi-Objective Learning)フレームワークを提案することができる。
特に,我々のFMOLフレームワークは,異なるクライアント間で異なる目的関数のセットを提供して,MOOの定式化を初めてフェデレート学習パラダイムに発展させ,一般化する幅広いアプリケーションをサポートする。
このfmolフレームワークのために,federated multi-gradient descent averaging (fmgda) と federated stochastic multi-gradient descent averaging (fsmgda) と呼ばれる2つの新しいfederated multi-objective optimization (fmoo) アルゴリズムを提案する。
両方のアルゴリズムは、局所的な更新によって通信コストを著しく削減し、一方、単目的フェデレーション学習においてアルゴリズムのアルゴリズムと同等の収束率を達成する。
また,提案したFMOOアルゴリズムの有効性についても検討した。
関連論文リスト
- 3FM: Multi-modal Meta-learning for Federated Tasks [2.117841684082203]
マルチモーダルなフェデレーションタスクに特化して設計されたメタラーニングフレームワークを提案する。
当社のアプローチは,新たなモダリティに曝露した場合に,フェデレーションモデルによる堅牢な適応を可能にする必要性に起因している。
提案アルゴリズムは,欠落したモダリティシナリオのサブセットにおいて,ベースラインよりも優れた性能を実現することを示す。
論文 参考訳(メタデータ) (2023-12-15T20:03:24Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [79.9201824151389]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
推論フェーズの間、MLAはテスト時間不確実性に基づくモデル融合機構を使用して、マルチモーダル情報を統合する。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - Channel Exchanging Networks for Multimodal and Multitask Dense Image
Prediction [125.18248926508045]
本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。
CENは異なるモダリティのワーク間でチャネルを動的に交換する。
濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
論文 参考訳(メタデータ) (2021-12-04T05:47:54Z) - Private Multi-Task Learning: Formulation and Applications to Federated
Learning [44.60519521554582]
マルチタスク学習は、ヘルスケア、ファイナンス、IoTコンピューティングなどの分野において、プライバシに敏感なアプリケーションに関係している。
我々は,MTLにおけるクライアントレベルのプライバシの概念を,共同微分プライバシ(JDP),メカニズム設計と分散最適化のための微分プライバシの緩和を通じて形式化する。
そこで我々は,パーソナライズド・フェデレーション・ラーニングの応用を目的とした,平均正規化MLLのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-08-30T03:37:36Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - MALib: A Parallel Framework for Population-based Multi-agent
Reinforcement Learning [61.28547338576706]
人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。
PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
論文 参考訳(メタデータ) (2021-06-05T03:27:08Z) - Communication-Efficient Agnostic Federated Averaging [39.761808414613185]
分散学習の設定では、トレーニングアルゴリズムは異なるクライアントに対してバイアスされる可能性がある。
我々は,Mohriらが開発したドメインに依存しない目的を最小化するために,Agnostic Federated Averaging(AgnosticFedAvg)と呼ばれる通信効率の高い分散アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-04-06T19:01:18Z) - Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。
既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。
モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
論文 参考訳(メタデータ) (2020-11-19T22:35:31Z) - Practical One-Shot Federated Learning for Cross-Silo Setting [114.76232507580067]
ワンショット・フェデレーション・ラーニングは、クロスサイロ環境でフェデレーション・ラーニングを適用するための有望なアプローチである。
本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。
知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。
論文 参考訳(メタデータ) (2020-10-02T14:09:10Z) - Federated Matrix Factorization: Algorithm Design and Application to Data
Clustering [18.917444528804463]
データプライバシに関する近年の要求は、大規模で異種ネットワークにおける新たな分散学習パラダイムとして、フェデレートラーニング(FL)を提唱している。
我々は,モデル平均化と勾配共有原理に基づく2つの新しいFedMFアルゴリズム,すなわちFedMAvgとFedMGSを提案する。
論文 参考訳(メタデータ) (2020-02-12T11:48:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。