論文の概要: More Industry-friendly: Federated Learning with High Efficient Design
- arxiv url: http://arxiv.org/abs/2012.08809v1
- Date: Wed, 16 Dec 2020 09:12:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 03:06:02.218151
- Title: More Industry-friendly: Federated Learning with High Efficient Design
- Title(参考訳): より業界に優しい:高効率設計による連合学習
- Authors: Dingwei Li, Qinglong Chang, Lixue Pang, Yanfang Zhang, Xudong Sun,
Jikun Ding, Liang Zhang
- Abstract要約: 本論文では,ダブルヘッド設計を用いた高効率フェデレーション学習手法を提案する。
実験結果から,本手法の精度は向上し,各種データ分布の通信効率も向上した。
- 参考スコア(独自算出の注目度): 3.329502137158763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although many achievements have been made since Google threw out the paradigm
of federated learning (FL), there still exists much room for researchers to
optimize its efficiency. In this paper, we propose a high efficient FL method
equipped with the double head design aiming for personalization optimization
over non-IID dataset, and the gradual model sharing design for communication
saving. Experimental results show that, our method has more stable accuracy
performance and better communication efficient across various data
distributions than other state of art methods (SOTAs), makes it more
industry-friendly.
- Abstract(参考訳): Googleがフェデレートドラーニング(FL)のパラダイムを捨てて以来、多くの成果が達成されているが、研究者がその効率を最適化する余地は依然としてたくさんある。
本稿では,非iidデータセットに対するパーソナライズ最適化を目的としたダブルヘッド設計と通信節約のための段階的モデル共有設計を備えた高効率fl手法を提案する。
実験結果から,本手法は他の最先端技術手法 (sotas) よりも精度が安定し,様々なデータ分散間での通信効率が向上し,業界フレンドリーであることが判明した。
関連論文リスト
- FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning
Using Shared Data on the Server [64.94942635929284]
フェデレーテッド・ラーニング(FL)は2つの重要な課題、すなわち限られた計算資源と訓練効率の低下に悩まされている。
本稿では,サーバ上の不感なデータとエッジデバイスの分散データを利用する新しいFLフレームワークであるFedDUAPを提案する。
提案するFLモデルであるFedDUAPは,2つの元の手法を統合することで,精度(最大4.8%),効率(最大2.8倍),計算コスト(最大61.9%)において,ベースラインアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2022-04-25T10:00:00Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - A Multi-agent Reinforcement Learning Approach for Efficient Client
Selection in Federated Learning [17.55163940659976]
Federated Learning(FL)は、クライアントデバイスが共有モデルを共同で学習することを可能にするトレーニングテクニックである。
モデル精度、処理遅延、通信効率を協調的に最適化する効率的なFLフレームワークを設計する。
実験により、FedMarlは処理遅延と通信コストを大幅に削減して、モデルの精度を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2022-01-09T05:55:17Z) - Up to 100x Faster Data-free Knowledge Distillation [52.666615987503995]
我々はFastDFKDを導入し、FastDFKDを桁違いに高速化する。
データの集合を個別に最適化する従来の方法とは異なり、共通の特徴を求めるメタシンセサイザーを学習することを提案する。
FastDFKDはほんの数ステップでデータ合成を実現し、データフリートレーニングの効率を大幅に向上させる。
論文 参考訳(メタデータ) (2021-12-12T14:56:58Z) - EBJR: Energy-Based Joint Reasoning for Adaptive Inference [10.447353952054492]
最先端のディープラーニングモデルは、さまざまなベンチマークで大きなパフォーマンスレベルを達成した。
一方、軽量アーキテクチャは適度な精度を実現しますが、より望ましいレイテンシを実現しています。
本稿では,大規模高精度モデルと小型高速モデルとを併用する新しい手法を提案する。
論文 参考訳(メタデータ) (2021-10-20T02:33:31Z) - WAFFLE: Weighted Averaging for Personalized Federated Learning [38.241216472571786]
WAFFLEは、SCAFFOLDに基づくパーソナライズされた協調機械学習アルゴリズムである。
WAFFLEは、クライアントのアップデート間のユークリッド距離を使用して、個々のコントリビューションを計測する。
本実験では, WAFFLE の有効性を他の方法と比較した。
論文 参考訳(メタデータ) (2021-10-13T18:40:54Z) - A Field Guide to Federated Optimization [161.3779046812383]
フェデレートされた学習と分析は、分散化されたデータからモデル(あるいは統計)を協調的に学習するための分散アプローチである。
本稿では、フェデレート最適化アルゴリズムの定式化、設計、評価、分析に関する勧告とガイドラインを提供する。
論文 参考訳(メタデータ) (2021-07-14T18:09:08Z) - Efficient Data-specific Model Search for Collaborative Filtering [56.60519991956558]
協調フィルタリング(CF)はレコメンダシステムの基本的なアプローチである。
本稿では,機械学習(AutoML)の最近の進歩を動機として,データ固有のCFモデルを設計することを提案する。
ここでキーとなるのは、最先端(SOTA)のCFメソッドを統一し、それらを入力エンコーディング、埋め込み関数、インタラクション、予測関数の非結合ステージに分割する新しいフレームワークである。
論文 参考訳(メタデータ) (2021-06-14T14:30:32Z) - A Simple Baseline for StyleGAN Inversion [133.5868210969111]
StyleGANのインバージョンは、トレーニング済みのStyleGANを実際の顔画像編集タスクに使用できるようにする上で重要な役割を果たす。
既存の最適化ベースの手法は高品質な結果を生み出すことができるが、最適化には時間がかかることが多い。
StyleGANインバージョンのための新しいフィードフォワードネットワークを提示し、効率と品質の面で大幅に改善します。
論文 参考訳(メタデータ) (2021-04-15T17:59:49Z) - Efficient Ring-topology Decentralized Federated Learning with Deep
Generative Models for Industrial Artificial Intelligent [13.982904025739606]
深層生成モデル(dgms)のためのリングトポジ型分散連体学習方式を提案する。
我々のRDFLスキームは通信効率を向上し、目標IIoTタスクにおけるDGMを向上するための訓練性能を維持する。
さらに、通信効率とFLセキュリティをさらに向上するため、IPFS(InterPlanetary File System)を導入している。
論文 参考訳(メタデータ) (2021-04-15T08:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。