Fugu-MT 論文翻訳(概要): Federated Nonconvex Sparse Learning

論文の概要: Federated Nonconvex Sparse Learning

arxiv url: http://arxiv.org/abs/2101.00052v1
Date: Thu, 31 Dec 2020 19:43:45 GMT
ステータス: 処理完了
システム内更新日: 2021-04-17 17:02:55.079677
Title: Federated Nonconvex Sparse Learning
Title（参考訳）: フェデレーション非凸スパース学習
Authors: Qianqian Tong, Guannan Liang, Tan Zhu and Jinbo Bi
Abstract要約: We propose two IHT methods: Federated Hard Threshold (FedHT) and Iterative Hard Threshold (IterHT)。本稿では,FedHT(Federated Hard Threshold)とIterHT(IterHT)の2つの手法を提案する。
参考スコア（独自算出の注目度）: 10.118514236618797
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Nonconvex sparse learning plays an essential role in many areas, such as signal processing and deep network compression. Iterative hard thresholding (IHT) methods are the state-of-the-art for nonconvex sparse learning due to their capability of recovering true support and scalability with large datasets. Theoretical analysis of IHT is currently based on centralized IID data. In realistic large-scale situations, however, data are distributed, hardly IID, and private to local edge computing devices. It is thus necessary to examine the property of IHT in federated settings, which update in parallel on local devices and communicate with a central server only once in a while without sharing local data. In this paper, we propose two IHT methods: Federated Hard Thresholding (Fed-HT) and Federated Iterative Hard Thresholding (FedIter-HT). We prove that both algorithms enjoy a linear convergence rate and have strong guarantees to recover the optimal sparse estimator, similar to traditional IHT methods, but now with decentralized non-IID data. Empirical results demonstrate that the Fed-HT and FedIter-HT outperform their competitor - a distributed IHT, in terms of decreasing the objective values with lower requirements on communication rounds and bandwidth.
Abstract（参考訳）: 非凸スパース学習は、信号処理やディープネットワーク圧縮など、多くの分野で重要な役割を果たす。反復的ハードしきい値法(IHT)は、大規模なデータセットで真のサポートとスケーラビリティを回復する能力のため、非凸スパース学習の最先端技術である。 ihtの理論解析は現在集中型iidデータに基づいている。しかし、現実的な大規模状況では、データは分散され、IDがほとんどなく、ローカルエッジコンピューティングデバイスにプライベートである。したがって、ローカルデバイス上で並列に更新され、ローカルデータを共有せずに一度だけ中央サーバと通信するフェデレーション設定におけるIHTの特性を調べる必要がある。本稿では,Federated Hard Thresholding (Fed-HT) とFederated Iterative Hard Thresholding (FedIter-HT) の2つの方法を提案する。両アルゴリズムが線形収束率を保ち、従来のIHT法と同様に最適なスパース推定器を復元する強力な保証を持つが、現在では非IIDデータを分散化している。実証的な結果から、Fed-HTとFedIter-HTは、通信ラウンドと帯域幅の低要件で目標値を下げるという点で、競合相手である分散IHTよりも優れていた。

関連論文リスト

Unlocking the Potential of Federated Learning: The Symphony of Dataset Distillation via Deep Generative Latents [43.282328554697564]
本稿ではサーバ側のFLデータセット蒸留フレームワークを提案する。従来の手法とは異なり,サーバは事前学習した深層生成モデルから事前知識を活用できる。我々のフレームワークは、サーバが複数の異種データ分散を訓練するのではなく、マルチモーダル分布を訓練するため、ベースラインよりも早く収束する。
論文参考訳（メタデータ） (2023-12-03T23:30:48Z)
FedEmb: A Vertical and Hybrid Federated Learning Algorithm using Network And Feature Embedding Aggregation [24.78757412559944]
Federated Learning(FL)は、分散クライアント上の機械学習モデルの分散トレーニングのための新興パラダイムである。本稿では,垂直およびハイブリッド学習をモデル化するための一般化アルゴリズムであるFedEmbを提案する。実験結果から,FedEmbは特徴分割と対象空間分散の両問題に対処する有効な方法であることがわかった。
論文参考訳（メタデータ） (2023-11-30T16:01:51Z)
Unsupervised Spike Depth Estimation via Cross-modality Cross-domain Knowledge Transfer [53.413305467674434]
スパイク深度推定をサポートするためにオープンソースのRGBデータを導入し,そのアノテーションと空間情報を活用する。教師なしスパイク深さ推定を実現するために,クロスモーダルクロスドメイン(BiCross)フレームワークを提案する。提案手法は,RGB指向の教師なし深度推定法と比較して,最先端(SOTA)性能を実現する。
論文参考訳（メタデータ） (2022-08-26T09:35:20Z)
Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
論文参考訳（メタデータ） (2022-02-07T15:04:15Z)
Towards Fast and Accurate Federated Learning with non-IID Data for Cloud-Based IoT Applications [22.107854601448906]
フェデレートラーニング(FL)はモノのインターネット(IoT)設計で人気を博している。 IoTデバイスによって収集されたデータが非独立かつ同一に分散された(非IID)方法でスキューされると、バニラFL法の精度が保証されない。本稿では,非IIDデータのトレーニングにおいて,重み分散のデメリットを効果的に低減できる新しいデータベースデバイスグループ化手法を提案する。
論文参考訳（メタデータ） (2022-01-29T06:49:08Z)
Federated Learning for Intrusion Detection in IoT Security: A Hybrid Ensemble Approach [0.0]
我々はまず,ハイブリットアンサンブルモデルであるPHECをベースとしたIDS用アーキテクチャを提案する。次に、ラベルノイズ問題に対処するために、集中型およびフェデレーションされた環境における耐雑音性PHECを提案する。各種セキュリティ攻撃から得られた4つのベンチマークデータセットによる実験結果から,FPRを低ノイズでクリーンなデータに保ちながら高いTPRを達成することが示された。
論文参考訳（メタデータ） (2021-06-25T06:33:35Z)
Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文参考訳（メタデータ） (2021-06-15T17:45:51Z)
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2021-02-09T11:27:14Z)
Federated Doubly Stochastic Kernel Learning for Vertically Partitioned Data [93.76907759950608]
本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
論文参考訳（メタデータ） (2020-08-14T05:46:56Z)
FedCD: Improving Performance in non-IID Federated Learning [0.0]
フェデレーション学習は、それぞれ独自のローカルデータを持つ分散デバイスで、共有モデルを学ぶために広く適用されてきた。我々はFedCDという新しいアプローチを提案し、類似したデータを動的にグループ化するためにモデルをクローンし削除する。
論文参考訳（メタデータ） (2020-06-17T03:45:25Z)
A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。