論文の概要: Decentralized and Model-Free Federated Learning: Consensus-Based
Distillation in Function Space
- arxiv url: http://arxiv.org/abs/2104.00352v2
- Date: Fri, 2 Apr 2021 09:32:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 10:27:37.409431
- Title: Decentralized and Model-Free Federated Learning: Consensus-Based
Distillation in Function Space
- Title（参考訳）: 分散とモデルなしのフェデレーション学習:関数空間における合意に基づく蒸留
- Authors: Akihito Taya, Takayuki Nishio, Masahiro Morikura, Koji Yamamoto
- Abstract要約: 本稿では,マルチホップネットワークを介して接続されたIoEデバイスのための分散FL方式を提案する。
CMFDはパラメータアグリゲーション法よりも安定性が高いことを示す。
- 参考スコア（独自算出の注目度）: 7.627597166844701
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a decentralized FL scheme for IoE devices connected via
multi-hop networks. FL has gained attention as an enabler of privacy-preserving
algorithms, but it is not guaranteed that FL algorithms converge to the optimal
point because of non-convexity when using decentralized parameter averaging
schemes. Therefore, a distributed algorithm that converges to the optimal
solution should be developed. The key idea of the proposed algorithm is to
aggregate the local prediction functions, not in a parameter space but in a
function space. Since machine learning tasks can be regarded as convex
functional optimization problems, a consensus-based optimization algorithm
achieves the global optimum if it is tailored to work in a function space. This
paper at first analyzes the convergence of the proposed algorithm in a function
space, which is referred to as a meta-algorithm. It is shown that spectral
graph theory can be applied to the function space in a similar manner as that
of numerical vectors. Then, a CMFD is developed for NN as an implementation of
the meta-algorithm. CMFD leverages knowledge distillation to realize function
aggregation among adjacent devices without parameter averaging. One of the
advantages of CMFD is that it works even when NN models are different among the
distributed learners. This paper shows that CMFD achieves higher accuracy than
parameter aggregation under weakly-connected networks. The stability of CMFD is
also higher than that of parameter aggregation methods.
- Abstract（参考訳）: 本稿では,マルチホップネットワークを介して接続されたIoEデバイスのための分散FL方式を提案する。
FLはプライバシー保護アルゴリズムの実現手段として注目されているが、分散パラメータ平均化方式を使用する場合の非凸性のため、FLアルゴリズムが最適点に収束することが保証されていない。
したがって、最適な解に収束する分散アルゴリズムを開発する必要がある。
提案アルゴリズムの鍵となる考え方は,パラメータ空間ではなく関数空間に局所予測関数を集約することである。
機械学習タスクは凸関数最適化問題とみなすことができるため、コンセンサスに基づく最適化アルゴリズムは、関数空間で機能するように調整された場合、大域最適化を実現する。
本稿では,まず関数空間における提案アルゴリズムの収束を解析し,その収束をメタアルゴリズムと呼ぶ。
スペクトルグラフ理論は、数値ベクトルと同様の方法で函数空間に適用できることが示されている。
次に、メタアルゴリズムの実装として、NN用のCMFDを開発する。
CMFDは知識蒸留を利用して、パラメータ平均化なしで隣り合うデバイス間の機能集約を実現する。
CMFDの利点の1つは、分散学習者間でNNモデルが異なる場合でも動作することである。
本稿では,CMFDが弱い接続ネットワーク下でのパラメータ集約よりも高い精度を実現することを示す。
CMFDの安定性はパラメータ凝集法よりも高い。
関連論文リスト
- Convergence Visualizer of Decentralized Federated Distillation with
Reduced Communication Costs [3.2098126952615442]
フェデレートラーニング(FL)は、データ共有を必要とせずに協調学習を実現し、プライバシーの漏洩を防ぐ。
本研究では,CMFD の未解決課題として,(1) 通信コストの削減と(2) モデル収束の可視化の2つを解決した。
論文 参考訳（メタデータ） (2023-12-19T07:23:49Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。
運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
論文 参考訳（メタデータ） (2022-11-14T12:32:18Z) - Communication-Efficient Stochastic Zeroth-Order Optimization for
Federated Learning [28.65635956111857]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。
FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2022-01-24T08:56:06Z) - Optimization-Based GenQSGD for Federated Edge Learning [12.371264770814097]
我々は、連合学習(FL)のための一般化された並列最小バッチ収束降下(SGD)アルゴリズムを提案する。
我々は,時間収束誤差の下でのエネルギーコストを最小限に抑えるために,アルゴリズムパラメータを最適化する。
その結果,既存のFLアルゴリズムよりも有意な利得が得られた。
論文 参考訳（メタデータ） (2021-10-25T14:25:11Z) - Distributed Learning and Democratic Embeddings: Polynomial-Time Source
Coding Schemes Can Achieve Minimax Lower Bounds for Distributed Gradient
Descent under Communication Constraints [46.17631511884969]
我々は、n次元ユークリッド空間においてベクトルを圧縮する問題を考える。
数値化器の被覆効率が次元独立であるか、あるいは非常に弱い対数依存であるという意味では、民主主義的および民主的に近いソースコーディングスキームが(ほぼ)最適であることを示す。
分散最適化アルゴリズムDGD-DEFを提案する。このアルゴリズムは,提案した符号化戦略を用いて,(ほぼ)定数要素内における最小収束率を実現する。
論文 参考訳（メタデータ） (2021-03-13T00:04:11Z) - Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。
リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。
このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
論文 参考訳（メタデータ） (2021-02-27T19:28:39Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳（メタデータ） (2020-09-08T06:54:11Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。