論文の概要: Sparse Random Networks for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2209.15328v1
• Date: Fri, 30 Sep 2022 09:11:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 15:06:08.568206
• Title: Sparse Random Networks for Communication-Efficient Federated Learning
• Title（参考訳）: コミュニケーション効率のよい連合学習のための分散ランダムネットワーク
• Authors: Berivan Isik, Francesco Pase, Deniz Gunduz, Tsachy Weissman, Michele Zorzi
• Abstract要約: 連合学習における大きな課題の1つは、各ラウンドでクライアントからサーバへの重み付け更新を交換する通信コストが大きいことである。 重みをまったく更新しない、根本的に異なるアプローチを提案する。 代わりに,本手法は,初期エンファンドム値の重みを凍結し,最適な性能を得るためにランダムネットワークのスパース化方法を学ぶ。
• 参考スコア（独自算出の注目度）: 23.614934319624826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One main challenge in federated learning is the large communication cost of exchanging weight updates from clients to the server at each round. While prior work has made great progress in compressing the weight updates through gradient compression methods, we propose a radically different approach that does not update the weights at all. Instead, our method freezes the weights at their initial \emph{random} values and learns how to sparsify the random network for the best performance. To this end, the clients collaborate in training a \emph{stochastic} binary mask to find the optimal sparse random network within the original one. At the end of the training, the final model is a sparse network with random weights -- or a subnetwork inside the dense random network. We show improvements in accuracy, communication (less than $1$ bit per parameter (bpp)), convergence speed, and final model size (less than $1$ bpp) over relevant baselines on MNIST, EMNIST, CIFAR-10, and CIFAR-100 datasets, in the low bitrate regime under various system configurations.
• Abstract（参考訳）: 連合学習の1つの大きな課題は、各ラウンドのクライアントからサーバへの重み付け更新を交換する大きな通信コストである。 先行研究は、勾配圧縮法による重み更新の圧縮に大きな進歩をもたらしたが、重みを全く更新しない根本的に異なるアプローチを提案する。 代わりに,本手法は,初期値であるemph{random}値の重みを凍結し,最適な性能を得るためにランダムネットワークのスパース化方法を学ぶ。 この目的のために、クライアントは \emph{stochastic} のバイナリマスクをトレーニングして、元のマスク内で最適なスパースランダムネットワークを見つける。 トレーニングの最後に、最終的なモデルはランダムウェイトのスパースネットワーク、あるいは密集したランダムネットワーク内のサブネットワークである。 我々は,MNIST,EMNIST,CIFAR-10,CIFAR-100データセットの関連ベースライン上での精度,通信(パラメータ当たり1ビット未満),収束速度,最終モデルサイズ(bpp未満)の改善を,様々なシステム構成下で低ビットレート方式で示す。

関連論文リスト

• Stochastic Approximation Approach to Federated Machine Learning [0.0]
  本稿では、近似(SA)フレームワークにおけるフェデレートラーニング(FL)について検討する。 FLは、さまざまな参加者やクライアント間でニューラルネットワークモデルをトレーニングする、協調的な方法である。 提案アルゴリズムは頑健であり,より信頼性の高い重み推定を行う。
  論文  参考訳（メタデータ） (2024-02-20T12:00:25Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Random Weights Networks Work as Loss Prior Constraint for Image Restoration [50.80507007507757]
  「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」 我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。 強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
  論文  参考訳（メタデータ） (2023-03-29T03:43:51Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
  条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。 問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。 提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
  論文  参考訳（メタデータ） (2022-05-13T00:28:35Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network [13.193734014710582]
  マルチプライズチケット(MPT)の検索アルゴリズムを提案し,CIFAR-10およびImageNetデータセット上で一連の実験を行うことで試験する。 当社のMTTs-1/32は、新しいバイナリウェイトネットワーク最新(SOTA)Top-1精度(CIFAR-10では94.8%、ImageNetでは74.03%)を設定するだけでなく、それぞれ1.78%と0.76%に上る。
  論文  参考訳（メタデータ） (2021-03-17T00:31:24Z)
• Slot Machines: Discovering Winning Combinations of Random Weights in Neural Networks [40.43730385915566]
  重みが更新されない効果的なランダムネットワークの存在を示します。 我々はネットワークを「スロットマシン」と呼び、それぞれのリール(接続)が固定されたシンボル(ランダム値)を含む。 各接続にランダムな値だけを割り当てると、非常に競争力のある組み合わせが得られる。
  論文  参考訳（メタデータ） (2021-01-16T16:56:48Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Training highly effective connectivities within neural networks with randomly initialized, fixed weights [4.56877715768796]
  重みの符号を反転させてネットワークを訓練する新しい方法を提案する。 重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
  論文  参考訳（メタデータ） (2020-06-30T09:41:18Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。