Fugu-MT 論文翻訳(概要): Local Learning with Neuron Groups

論文の概要: Local Learning with Neuron Groups

arxiv url: http://arxiv.org/abs/2301.07635v1
Date: Wed, 18 Jan 2023 16:25:10 GMT
ステータス: 処理完了
システム内更新日: 2023-01-19 15:24:43.809938
Title: Local Learning with Neuron Groups
Title（参考訳）: ニューロン群を用いた局所学習
Authors: Adeetya Patel, Michael Eickenberg, Eugene Belilovsky
Abstract要約: 局所学習はモデル並列性に対するアプローチであり、標準のエンドツーエンドの学習設定を取り除く。本研究では,局所学習をレイヤやモジュールをサブコンポーネントに分割する方法について検討する。
参考スコア（独自算出の注目度）: 15.578925277062657
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Traditional deep network training methods optimize a monolithic objective function jointly for all the components. This can lead to various inefficiencies in terms of potential parallelization. Local learning is an approach to model-parallelism that removes the standard end-to-end learning setup and utilizes local objective functions to permit parallel learning amongst model components in a deep network. Recent works have demonstrated that variants of local learning can lead to efficient training of modern deep networks. However, in terms of how much computation can be distributed, these approaches are typically limited by the number of layers in a network. In this work we propose to study how local learning can be applied at the level of splitting layers or modules into sub-components, adding a notion of width-wise modularity to the existing depth-wise modularity associated with local learning. We investigate local-learning penalties that permit such models to be trained efficiently. Our experiments on the CIFAR-10, CIFAR-100, and Imagenet32 datasets demonstrate that introducing width-level modularity can lead to computational advantages over existing methods based on local learning and opens new opportunities for improved model-parallel distributed training. Code is available at: https://github.com/adeetyapatel12/GN-DGL.
Abstract（参考訳）: 従来のディープネットワークトレーニング手法では、すべてのコンポーネントを共同でモノリシックな客観的関数に最適化する。これは、潜在的な並列化の点で様々な非効率をもたらす可能性がある。局所学習はモデル並列性に対するアプローチであり、標準のエンドツーエンド学習設定を取り除き、深層ネットワークにおけるモデルコンポーネント間の並列学習を可能にするために、局所目的関数を利用する。近年の研究では、局所学習の変種が現代の深層ネットワークの効率的な訓練につながることが示されている。しかしながら、どれだけの計算を分散できるかという点では、これらのアプローチは通常、ネットワーク内のレイヤ数によって制限される。本研究では,局所学習が階層やモジュールをサブコンポーネントに分割するレベルでどのように局所学習を適用できるかを考察し,局所学習に関連する既存の深度ワイド・モジュラリティに幅ワイド・モジュラリティの概念を追加する。このようなモデルを効率的に訓練できる地域学習の罰則について検討する。 CIFAR-10, CIFAR-100, Imagenet32データセットを用いた実験により, 局所学習に基づく既存手法に比べて, 幅レベルのモジュラリティの導入が計算上の優位性をもたらすことを示した。コードはhttps://github.com/adeetyapatel12/gn-dgl。

関連論文リスト

HPFF: Hierarchical Locally Supervised Learning with Patch Feature Fusion [7.9514535887836795]
本稿では,階層的局所教師付き学習とパッチレベルの特徴を補助的ネットワーク上で実現する新しいモデルを提案する。我々は, CIFAR-10, STL-10, SVHN, ImageNetのデータセットについて実験を行い, 提案したHPFFが従来の手法より有意に優れていたことを示す。
論文参考訳（メタデータ） (2024-07-08T06:05:19Z)
Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise Training of Neural Networks [9.718519843862937]
ブロックワイズBPフリー(BWBPF)ニューラルネットワークを導入し、局所誤差信号を利用してサブニューラルネットワークを個別に最適化する。実験結果から,VGGとResNetのバラツキに対して,トランスファー可能な疎結合アーキテクチャを同定できることがわかった。
論文参考訳（メタデータ） (2023-12-20T08:02:33Z)
Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文参考訳（メタデータ） (2022-10-10T10:05:00Z)
Flexible Parallel Learning in Edge Scenarios: Communication, Computational and Energy Cost [20.508003076947848]
FogとIoTベースのシナリオでは、両方のアプローチを組み合わせる必要があることが多い。フレキシブル並列学習(FPL)のためのフレームワークを提案し,データとモデル並列性を両立させる。我々の実験は、最先端のディープネットワークアーキテクチャと大規模データセットを用いて行われ、FPLが計算コスト、通信オーバーヘッド、学習性能に優れたトレードオフを実現することを確認した。
論文参考訳（メタデータ） (2022-01-19T03:47:04Z)
Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文参考訳（メタデータ） (2021-05-26T18:07:19Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
Parallel Training of Deep Networks with Local Updates [84.30918922367442]
ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
論文参考訳（メタデータ） (2020-12-07T16:38:45Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)
Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文参考訳（メタデータ） (2020-10-15T20:43:17Z)
Distributed Training of Deep Learning Models: A Taxonomic Perspective [11.924058430461216]
分散ディープラーニングシステム(DDLS)は、クラスタの分散リソースを利用することで、ディープニューラルネットワークモデルをトレーニングする。私たちは、独立したマシンのクラスタでディープニューラルネットワークをトレーニングする際の、作業の基本原則に光を当てることを目指しています。
論文参考訳（メタデータ） (2020-07-08T08:56:58Z)
Modularizing Deep Learning via Pairwise Learning With Kernels [12.051746916737343]
特徴空間における積み重ね線形モデルとして、有限幅で完全に訓練可能なディープ・コンピューティング・ニューラルネットの代替的視点を示す。次に,モジュール間のバックプロパゲーションを必要としない分類のための,証明可能な最適モジュール学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-05-12T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。