Fugu-MT 論文翻訳(概要): Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters

論文の概要: Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters

arxiv url: http://arxiv.org/abs/1912.13075v1
Date: Mon, 30 Dec 2019 20:19:20 GMT
ステータス: 処理完了
システム内更新日: 2023-01-17 02:16:11.892366
Title: Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters
Title（参考訳）: 表現マッチングと適応型ハイパーパラメータによるロバスト連合学習
Authors: Hesham Mostafa
Abstract要約: フェデレーション学習(Federated Learning)は、複数のクライアントに属するデータに対して単一のモデルをトレーニングする、分散されたプライバシ対応の学習シナリオである。現在のフェデレーション学習手法は、異種クライアント側データ分散に苦慮している。本稿では,局所モデルのばらつきを低減する表現マッチング手法を提案する。
参考スコア（独自算出の注目度）: 5.319361976450981
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning is a distributed, privacy-aware learning scenario which trains a single model on data belonging to several clients. Each client trains a local model on its data and the local models are then aggregated by a central party. Current federated learning methods struggle in cases with heterogeneous client-side data distributions which can quickly lead to divergent local models and a collapse in performance. Careful hyper-parameter tuning is particularly important in these cases but traditional automated hyper-parameter tuning methods would require several training trials which is often impractical in a federated learning setting. We describe a two-pronged solution to the issues of robustness and hyper-parameter tuning in federated learning settings. We propose a novel representation matching scheme that reduces the divergence of local models by ensuring the feature representations in the global (aggregate) model can be derived from the locally learned representations. We also propose an online hyper-parameter tuning scheme which uses an online version of the REINFORCE algorithm to find a hyper-parameter distribution that maximizes the expected improvements in training loss. We show on several benchmarks that our two-part scheme of local representation matching and global adaptive hyper-parameters significantly improves performance and training robustness.
Abstract（参考訳）: フェデレーション学習(federated learning)は、複数のクライアントに属するデータに対して単一のモデルをトレーニングする、プライバシを意識した分散学習シナリオである。各クライアントはデータ上でローカルモデルをトレーニングし、そのローカルモデルは中央のパーティによって集約される。現在のフェデレーション学習手法では、異種なクライアント側データ分散の場合には、ローカルモデルの違いとパフォーマンスの低下に素早くつながります。注意深いハイパーパラメータチューニングは、これらのケースでは特に重要であるが、従来の自動ハイパーパラメータチューニング手法では、連合学習環境では実用的でないいくつかのトレーニング試行が必要になる。フェデレート学習環境におけるロバストネスとハイパーパラメータチューニングの問題に対する2段階の解法について述べる。本稿では,グローバル(集約)モデルの特徴表現を局所学習表現から導出できることを保証することにより,局所モデルの発散を低減する新しい表現マッチングスキームを提案する。また、強化アルゴリズムのオンラインバージョンを用いて、トレーニング損失の期待値の改善を最大化するハイパーパラメータ分布を求めるオンラインハイパーパラメータチューニングスキームを提案する。局所的表現マッチングと大域的適応型ハイパーパラメータの2部構成が性能とトレーニングの堅牢性を大幅に向上させることを示す。

関連論文リスト

Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-11-24T13:30:03Z)
PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文参考訳（メタデータ） (2024-06-04T13:51:08Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Cross-Silo Federated Learning Across Divergent Domains with Iterative Parameter Alignment [4.95475852994362]
フェデレートラーニング(Federated Learning)は、リモートクライアント間で機械学習モデルをトレーニングする手法である。我々は、共通の目的のために最適化されたNモデルを学ぶために、典型的な連合学習環境を再構築する。この技術は、最先端のアプローチと比較して、様々なデータパーティションにおける競合的な結果が得られることがわかった。
論文参考訳（メタデータ） (2023-11-08T16:42:14Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization [36.916155654985936]
会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
論文参考訳（メタデータ） (2023-08-07T03:34:01Z)
Federated Learning of Models Pre-Trained on Different Features with Consensus Graphs [19.130197923214123]
プライベートデータセットと分散データセットで効果的なグローバルモデルを学ぶことは、機械学習においてますます重要な課題になりつつある。本稿では,局所モデルから局所表現を抽出し,それらをグローバル表現に組み込んで予測性能を向上させる特徴融合手法を提案する。本稿では,これらの問題に対する解決策を提示し,電力網や交通網などの時系列データを用いた実世界の応用例を示す。
論文参考訳（メタデータ） (2023-06-02T02:24:27Z)
Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文参考訳（メタデータ） (2023-05-24T13:52:18Z)
ADDS: Adaptive Differentiable Sampling for Robust Multi-Party Learning [24.288233074516455]
本稿では,多人数学習のための適応型微分可能サンプリングフレームワーク(ADDS)を提案する。提案手法は,集中モデル収束を高速化しながら,局所的な計算と通信コストを大幅に削減する。
論文参考訳（メタデータ） (2021-10-29T03:35:15Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)
Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。