論文の概要: Federated Multi-Objective Learning

• arxiv url: http://arxiv.org/abs/2310.09866v3
• Date: Mon, 8 Jan 2024 17:47:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 22:50:29.534175
• Title: Federated Multi-Objective Learning
• Title（参考訳）: フェデレーション多目的学習
• Authors: Haibo Yang, Zhuqing Liu, Jia Liu, Chaosheng Dong, Michinari Momma
• Abstract要約: 複数のクライアントを用いたFMOL(Federated Multi-Objective Learning)フレームワークを提案する。 私たちのFMOLフレームワークは、異なるクライアント間で異なる目的関数セットを提供し、幅広いアプリケーションをサポートします。 本フレームワークでは,FSMGDA (Federated Multi-gradient descent Averaging) とFSMGDA (Federated Multi-gradient descent Averaging) という2つの新しいFMOOアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 22.875284692358683
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In recent years, multi-objective optimization (MOO) emerges as a foundational problem underpinning many multi-agent multi-task learning applications. However, existing algorithms in MOO literature remain limited to centralized learning settings, which do not satisfy the distributed nature and data privacy needs of such multi-agent multi-task learning applications. This motivates us to propose a new federated multi-objective learning (FMOL) framework with multiple clients distributively and collaboratively solving an MOO problem while keeping their training data private. Notably, our FMOL framework allows a different set of objective functions across different clients to support a wide range of applications, which advances and generalizes the MOO formulation to the federated learning paradigm for the first time. For this FMOL framework, we propose two new federated multi-objective optimization (FMOO) algorithms called federated multi-gradient descent averaging (FMGDA) and federated stochastic multi-gradient descent averaging (FSMGDA). Both algorithms allow local updates to significantly reduce communication costs, while achieving the {\em same} convergence rates as those of their algorithmic counterparts in the single-objective federated learning. Our extensive experiments also corroborate the efficacy of our proposed FMOO algorithms.
• Abstract（参考訳）: 近年、多目的最適化(MOO)は多くのマルチエージェントマルチタスク学習アプリケーションを支える基礎的な問題として現れている。 しかし,MOO文学における既存のアルゴリズムは,マルチエージェントマルチタスク学習アプリケーションの分散性やデータプライバシ要求を満足しない集中型学習設定に限定されている。 これにより、複数のクライアントがMOO問題を分散的かつ協調的に解決し、トレーニングデータをプライベートに保ちながら、新しいFMOL(Federated Multi-Objective Learning)フレームワークを提案することができる。 特に,我々のFMOLフレームワークは,異なるクライアント間で異なる目的関数のセットを提供して,MOOの定式化を初めてフェデレート学習パラダイムに発展させ,一般化する幅広いアプリケーションをサポートする。 このfmolフレームワークのために,federated multi-gradient descent averaging (fmgda) と federated stochastic multi-gradient descent averaging (fsmgda) と呼ばれる2つの新しいfederated multi-objective optimization (fmoo) アルゴリズムを提案する。 両方のアルゴリズムは、局所的な更新によって通信コストを著しく削減し、一方、単目的フェデレーション学習においてアルゴリズムのアルゴリズムと同等の収束率を達成する。 また,提案したFMOOアルゴリズムの有効性についても検討した。

関連論文リスト

• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• Federated Multi-Task Learning on Non-IID Data Silos: An Experimental Study [17.555311732095483]
  FMTLアプローチは、フェデレートラーニング(FL)とマルチタスクラーニング(MTL)の利点を統合する 本稿では,FMTLパラダイムの体系的評価のための新しいフレームワークFMTL-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-02-20T10:13:44Z)
• 3FM: Multi-modal Meta-learning for Federated Tasks [2.117841684082203]
  マルチモーダルなフェデレーションタスクに特化して設計されたメタラーニングフレームワークを提案する。 当社のアプローチは,新たなモダリティに曝露した場合に,フェデレーションモデルによる堅牢な適応を可能にする必要性に起因している。 提案アルゴリズムは,欠落したモダリティシナリオのサブセットにおいて,ベースラインよりも優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-15T20:03:24Z)
• Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
  本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。 濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
  論文  参考訳（メタデータ） (2021-12-04T05:47:54Z)
• Private Multi-Task Learning: Formulation and Applications to Federated Learning [44.60519521554582]
  マルチタスク学習は、ヘルスケア、ファイナンス、IoTコンピューティングなどの分野において、プライバシに敏感なアプリケーションに関係している。 我々は,MTLにおけるクライアントレベルのプライバシの概念を,共同微分プライバシ(JDP),メカニズム設計と分散最適化のための微分プライバシの緩和を通じて形式化する。 そこで我々は,パーソナライズド・フェデレーション・ラーニングの応用を目的とした,平均正規化MLLのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-30T03:37:36Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
  目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。 既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。 モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2020-11-19T22:35:31Z)
• Practical One-Shot Federated Learning for Cross-Silo Setting [114.76232507580067]
  ワンショット・フェデレーション・ラーニングは、クロスサイロ環境でフェデレーション・ラーニングを適用するための有望なアプローチである。 本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。 知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。
  論文  参考訳（メタデータ） (2020-10-02T14:09:10Z)
• Federated Matrix Factorization: Algorithm Design and Application to Data Clustering [18.917444528804463]
  データプライバシに関する近年の要求は、大規模で異種ネットワークにおける新たな分散学習パラダイムとして、フェデレートラーニング(FL)を提唱している。 我々は,モデル平均化と勾配共有原理に基づく2つの新しいFedMFアルゴリズム,すなわちFedMAvgとFedMGSを提案する。
  論文  参考訳（メタデータ） (2020-02-12T11:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。