論文の概要: An Optimal Transport Approach to Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2206.02468v1
• Date: Mon, 6 Jun 2022 10:05:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 13:54:37.879781
• Title: An Optimal Transport Approach to Personalized Federated Learning
• Title（参考訳）: 個人化フェデレーション学習のための最適輸送手法
• Authors: Farzan Farnia, Amirhossein Reisizadeh, Ramtin Pedarsani, Ali Jadbabaie
• Abstract要約: フェデレートラーニングは、多くの分散クライアントのローカルデータを使用してモデルをトレーニングすることを目的としている。 連合学習における重要な課題は、クライアントにまたがるデータサンプルが同一に分散されないことだ。 最適輸送(FedOT)に基づく新しい個人化フェデレーション学習手法を提案する。
• 参考スコア（独自算出の注目度）: 41.27887358989414
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Federated learning is a distributed machine learning paradigm, which aims to train a model using the local data of many distributed clients. A key challenge in federated learning is that the data samples across the clients may not be identically distributed. To address this challenge, personalized federated learning with the goal of tailoring the learned model to the data distribution of every individual client has been proposed. In this paper, we focus on this problem and propose a novel personalized Federated Learning scheme based on Optimal Transport (FedOT) as a learning algorithm that learns the optimal transport maps for transferring data points to a common distribution as well as the prediction model under the applied transport map. To formulate the FedOT problem, we extend the standard optimal transport task between two probability distributions to multi-marginal optimal transport problems with the goal of transporting samples from multiple distributions to a common probability domain. We then leverage the results on multi-marginal optimal transport problems to formulate FedOT as a min-max optimization problem and analyze its generalization and optimization properties. We discuss the results of several numerical experiments to evaluate the performance of FedOT under heterogeneous data distributions in federated learning problems.
• Abstract（参考訳）: Federated Learningは分散機械学習のパラダイムであり、多くの分散クライアントのローカルデータを使用してモデルをトレーニングすることを目指している。 連合学習における重要な課題は、クライアントにまたがるデータサンプルが同一に分散されないことだ。 この課題に対処するために,学習モデルを各クライアントのデータ分散に合わせることを目的とした,個人化された連合学習が提案されている。 本稿では,データポイントを共通分布に転送する最適なトランスポートマップと,適用されたトランスポートマップに基づく予測モデルを学ぶための学習アルゴリズムとして,最適トランスポート(FedOT)に基づく新たな個人化学習手法を提案する。 FedOT問題を定式化するために、2つの確率分布間の標準の最適輸送タスクを、複数の分布から共通の確率領域へのサンプルの輸送を目標として、マルチマルジナルな最適輸送問題に拡張する。 次に,FedOT を min-max 最適化問題として定式化し,その一般化と最適化特性について解析する。 フェデレーション学習における不均一なデータ分布下でのFedOTの性能を評価するための数値実験の結果について考察する。

関連論文リスト

• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Performative Federated Learning: A Solution to Model-Dependent and Heterogeneous Distribution Shifts [24.196279060605402]
  複数のクライアントとサーバからなる連合学習(FL)システムについて検討する。 クライアントのデータが静的であると仮定する従来のFLフレームワークとは異なり、クライアントのデータ分散がデプロイされた決定モデルによって再生成されるシナリオを考察する。
  論文  参考訳（メタデータ） (2023-05-08T23:29:24Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
  Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。 我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
  論文  参考訳（メタデータ） (2021-08-23T15:47:53Z)
• Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data [42.26599494940002]
  フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。 本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。 複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
  論文  参考訳（メタデータ） (2021-07-14T08:32:39Z)
• Optimal transport framework for efficient prototype selection [21.620708125860066]
  最適なトランスポート(ot)ベースのフレームワークを開発し、与えられたターゲットデータセットを最もよく表現する有益な例を選定する。 目的関数は部分モジュラリティの重要な特性を享受し、計算速度と決定論的近似保証を持つ並列化可能なグリーディ法を提案する。
  論文  参考訳（メタデータ） (2021-03-18T10:50:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。