論文の概要: Distributed Learning with Low Communication Cost via Gradient Boosting Untrained Neural Network

• arxiv url: http://arxiv.org/abs/2011.05022v1
• Date: Tue, 10 Nov 2020 10:26:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 08:15:17.686936
• Title: Distributed Learning with Low Communication Cost via Gradient Boosting Untrained Neural Network
• Title（参考訳）: 勾配強化型未学習ニューラルネットワークによる低通信コストの分散学習
• Authors: Xiatian Zhang, Xunshi He, Nan Wang and Rong Chen
• Abstract要約: グラディエント・ブースティング・アントレーニングニューラルネットワーク(GBUN)を提案する。 GBUNは、トレーニングされていないランダムに生成されたニューラルネットワークをアンサンブルし、データサンプルを複数のニューロン出力にソフトに分散し、分散学習のための通信コストを劇的に削減する。 複数の公開データセットに対する実験により,GBUNは予測精度の点で従来のGBDTと同等であり,分散学習のスケーリング特性よりもはるかに優れていることがわかった。
• 参考スコア（独自算出の注目度）: 4.6539963342114286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For high-dimensional data, there are huge communication costs for distributed GBDT because the communication volume of GBDT is related to the number of features. To overcome this problem, we propose a novel gradient boosting algorithm, the Gradient Boosting Untrained Neural Network(GBUN). GBUN ensembles the untrained randomly generated neural network that softly distributes data samples to multiple neuron outputs and dramatically reduces the communication costs for distributed learning. To avoid creating huge neural networks for high-dimensional data, we extend Simhash algorithm to mimic forward calculation of the neural network. Our experiments on multiple public datasets show that GBUN is as good as conventional GBDT in terms of prediction accuracy and much better than it in scaling property for distributed learning. Comparing to conventional GBDT varieties, GBUN speeds up the training process up to 13 times on the cluster with 64 machines, and up to 4614 times on the cluster with 100KB/s network bandwidth. Therefore, GBUN is not only an efficient distributed learning algorithm but also has great potentials for federated learning.
• Abstract（参考訳）: 高次元データの場合,GBDT の通信量と特徴量の関係から,分散 GBDT には膨大な通信コストがかかる。 そこで本研究では,新しい勾配ブースティングアルゴリズムである勾配ブースティング非学習ニューラルネットワーク(gbun)を提案する。 GBUNは、トレーニングされていないランダムに生成されたニューラルネットワークをアンサンブルし、データサンプルを複数のニューロン出力にソフトに分散し、分散学習のための通信コストを劇的に削減する。 高次元データのための巨大なニューラルネットワークを作成するのを避けるため、Simhashアルゴリズムを拡張し、ニューラルネットワークの前方計算を模倣する。 複数のパブリックデータセットを用いた実験の結果,gbunは従来のgbdtと同程度に精度が高く,分散学習のスケーリング特性よりも優れていることがわかった。 従来のgbdtと比べ、gbunは64台のマシンでクラスタ上で最大13回、ネットワーク帯域が100kb/sのクラスタ上で最大4614回、トレーニングプロセスを高速化している。 したがって、GBUNは効率的な分散学習アルゴリズムであるだけでなく、連合学習にも大きな可能性を持っている。

関連論文リスト

• Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。 グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。 本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:57:38Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Get More for Less in Decentralized Learning Systems [1.7010199949406575]
  JWINSは分散学習システムであり、スパーシフィケーションを通じてパラメータのサブセットのみを共有する。 JWINSは最大64%のバイトを送信しながら、完全共有型DLと同様の精度を達成できることを実証した。 通信予算の低さにより、JWINSは最先端の通信効率の高いDLアルゴリズムであるCHOCO-SGDを最大4倍に向上させる。
  論文  参考訳（メタデータ） (2023-06-07T12:18:36Z)
• Dash: Accelerating Distributed Private Convolutional Neural Network Inference with Arithmetic Garbled Circuits [6.912820984005411]
  私たちは、悪質な攻撃者に対してセキュアな、高速で分散的なプライベート畳み込みニューラルネットワーク推論スキームであるDashを紹介します。 算術ガーブリングガジェット [BMR16] と派手なガーブリングガジェット [BCM+19] をベースとしており、Dashは算術ガーブラード回路を純粋にベースとしている。
  論文  参考訳（メタデータ） (2023-02-13T13:48:08Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Network Gradient Descent Algorithm for Decentralized Federated Learning [0.2867517731896504]
  本稿では,コミュニケーションベースネットワーク上で実行される新しい勾配勾配アルゴリズムである,完全に分散化されたフェデレーション学習アルゴリズムについて検討する。 NGD法では、統計(パラメータ推定など)のみを通信し、プライバシーのリスクを最小限に抑える必要がある。 学習速度とネットワーク構造の両方が,NGD推定器の統計的効率を決定する上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-06T02:53:31Z)
• Improving Neural Network with Uniform Sparse Connectivity [0.0]
  本研究では,各層に均一かつ疎結合な一様スパースネットワーク(USN)を提案する。 USNは、予測精度、速度、堅牢性において最先端のスパースネットワークモデルより一貫して、実質的に優れている。
  論文  参考訳（メタデータ） (2020-11-29T19:00:05Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)
• Reducing Communication in Graph Neural Network Training [0.0]
  グラフニューラルネットワーク(GNN)は、データの自然な疎結合情報を使用する、強力で柔軟なニューラルネットワークである。 我々は,GNNを訓練するための並列アルゴリズムのファミリーを導入し,従来の並列GNN訓練手法と比較して通信を効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2020-05-07T07:45:09Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。