論文の概要: Decoupled Greedy Learning of CNNs for Synchronous and Asynchronous Distributed Learning

• arxiv url: http://arxiv.org/abs/2106.06401v1
• Date: Fri, 11 Jun 2021 13:55:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 14:03:05.587354
• Title: Decoupled Greedy Learning of CNNs for Synchronous and Asynchronous Distributed Learning
• Title（参考訳）: 同期・非同期分散学習のためのcnnの分離学習
• Authors: Eugene Belilovsky (MILA), Louis Leconte (MLIA, CMAP), Lucas Caccia (MILA), Michael Eickenberg, Edouard Oyallon (MLIA)
• Abstract要約: Decoupled Greedy Learning (DGL)と呼ばれる,最小限のフィードバックに基づくシンプルな代替案を検討する。 近年,大規模な画像分類において,畳み込みニューラルネットワーク(CNN)の文脈で有効であることが示されている。 我々は、この手法が収束し、シーケンシャル・ソルバと比較されることを理論的、実証的に示す。
• 参考スコア（独自算出の注目度）: 3.7722254371820987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A commonly cited inefficiency of neural network training using back-propagation is the update locking problem: each layer must wait for the signal to propagate through the full network before updating. Several alternatives that can alleviate this issue have been proposed. In this context, we consider a simple alternative based on minimal feedback, which we call Decoupled Greedy Learning (DGL). It is based on a classic greedy relaxation of the joint training objective, recently shown to be effective in the context of Convolutional Neural Networks (CNNs) on large-scale image classification. We consider an optimization of this objective that permits us to decouple the layer training, allowing for layers or modules in networks to be trained with a potentially linear parallelization. With the use of a replay buffer we show that this approach can be extended to asynchronous settings, where modules can operate and continue to update with possibly large communication delays. To address bandwidth and memory issues we propose an approach based on online vector quantization. This allows to drastically reduce the communication bandwidth between modules and required memory for replay buffers. We show theoretically and empirically that this approach converges and compare it to the sequential solvers. We demonstrate the effectiveness of DGL against alternative approaches on the CIFAR-10 dataset and on the large-scale ImageNet dataset.
• Abstract（参考訳）: バックプロパゲーションを用いたニューラルネットワークトレーニングの非効率性として一般的に引用されているのは、更新ロックの問題である。 この問題を緩和できる代替案がいくつか提案されている。 この文脈では、最小のフィードバックに基づく単純な代替案を考え、これをdecoupled greedy learning(dgl)と呼ぶ。 近年,大規模画像分類における畳み込みニューラルネットワーク(cnns)の文脈において有効であることが示されている。 この目的を最適化することで、レイヤトレーニングを分離し、ネットワーク内のレイヤやモジュールを潜在的に線形並列化でトレーニングすることが可能になります。 リプレイバッファを使用することで、このアプローチが非同期設定にまで拡張可能であることを示します。 帯域幅とメモリの問題に対処するため,オンラインベクトル量子化に基づく手法を提案する。 これにより、バッファの再生に必要なモジュールとメモリ間の通信帯域を大幅に削減できる。 このアプローチが収束し、シーケンシャルソルバと比較できることを理論的および実証的に示す。 CIFAR-10データセットと大規模イメージネットデータセットの代替手法に対するDGLの有効性を示す。

関連論文リスト

• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise Training of Neural Networks [9.718519843862937]
  ブロックワイズBPフリー(BWBPF)ニューラルネットワークを導入し、局所誤差信号を利用してサブニューラルネットワークを個別に最適化する。 実験結果から,VGGとResNetのバラツキに対して,トランスファー可能な疎結合アーキテクチャを同定できることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T08:02:33Z)
• Rapid Network Adaptation: Learning to Adapt Neural Networks Using Test-Time Feedback [12.946419909506883]
  テスト時間フィードバック信号を用いてネットワークをオンザフライで適応するクローズドループシステムを構築した。 本稿では,このループを学習型関数を用いて効果的に実装し,ネットワークに対する償却を実現する方法を提案する。 これにより、Rapid Network Adaptation (RNA) と呼ばれる適応手法が実現され、ベースラインよりも柔軟で桁違いに高速になる。
  論文  参考訳（メタデータ） (2023-09-27T16:20:39Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
  本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。 提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。 本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
  論文  参考訳（メタデータ） (2022-05-26T19:01:19Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。