論文の概要: FastHebb: Scaling Hebbian Training of Deep Neural Networks to ImageNet Level

• arxiv url: http://arxiv.org/abs/2207.03172v1
• Date: Thu, 7 Jul 2022 09:04:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-08 14:06:03.538719
• Title: FastHebb: Scaling Hebbian Training of Deep Neural Networks to ImageNet Level
• Title（参考訳）: FastHebb: ディープニューラルネットワークのイメージネットレベルへのスケーリングヘビアントレーニング
• Authors: Gabriele Lagani, Claudio Gennaro, Hannes Fassold, Giuseppe Amato
• Abstract要約: 我々は、Hebbian学習のための効率的でスケーラブルなソリューションであるFastHebbを紹介する。 FastHebbはトレーニングのスピードで、これまでのソリューションを最大50倍のパフォーマンスで上回っている。 私たちは初めて、HebbianアルゴリズムをImageNetスケールに持ち込むことができます。
• 参考スコア（独自算出の注目度）: 7.410940271545853
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning algorithms for Deep Neural Networks are typically based on supervised end-to-end Stochastic Gradient Descent (SGD) training with error backpropagation (backprop). Backprop algorithms require a large number of labelled training samples to achieve high performance. However, in many realistic applications, even if there is plenty of image samples, very few of them are labelled, and semi-supervised sample-efficient training strategies have to be used. Hebbian learning represents a possible approach towards sample efficient training; however, in current solutions, it does not scale well to large datasets. In this paper, we present FastHebb, an efficient and scalable solution for Hebbian learning which achieves higher efficiency by 1) merging together update computation and aggregation over a batch of inputs, and 2) leveraging efficient matrix multiplication algorithms on GPU. We validate our approach on different computer vision benchmarks, in a semi-supervised learning scenario. FastHebb outperforms previous solutions by up to 50 times in terms of training speed, and notably, for the first time, we are able to bring Hebbian algorithms to ImageNet scale.
• Abstract（参考訳）: Deep Neural Networksの学習アルゴリズムは一般的に、教師付きエンドツーエンドのSGD(Stochastic Gradient Descent)トレーニングとエラーバックプロパゲーション(backprop)に基づいている。 バックプロップアルゴリズムは、高性能を達成するために多数のラベル付きトレーニングサンプルを必要とする。 しかし、現実的な多くのアプリケーションでは、たとえ多くの画像サンプルがあるとしても、ラベル付けされているものはほとんどなく、半教師付きサンプル効率のトレーニング戦略を使う必要がある。 hebbian learningは、サンプル効率的なトレーニングへのアプローチとして考えられるが、現在のソリューションでは、大規模なデータセットではうまくスケールしない。 本稿では,ヘビアン学習のための効率よくスケーラブルなソリューションであるFastHebbについて述べる。 1)一連の入力に対する更新計算と集約の融合、及び 2)gpu上で効率的な行列乗算アルゴリズムを活用する。 我々は,コンピュータビジョンの異なるベンチマークに対するアプローチを,半教師付き学習シナリオで検証する。 FastHebbはトレーニングのスピードでこれまでのソリューションを最大50倍上回り、特に、初めて、HebbianのアルゴリズムをImageNetのスケールに導入しました。

関連論文リスト

• Distributive Pre-Training of Generative Modeling Using Matrix-Product States [0.0]
  本稿では,基本的なテンソルネットワーク操作,例えば和と圧縮を利用した代替的なトレーニング手法を検討する。 トレーニングアルゴリズムは、製品状態表現におけるすべてのトレーニングデータから構築された重ね合わせ状態を圧縮する。 MNISTデータセット上でアルゴリズムをベンチマークし、新しい画像と分類タスクを生成するための妥当な結果を示す。
  論文  参考訳（メタデータ） (2023-06-26T15:46:08Z)
• SparseProp: Efficient Sparse Backpropagation for Faster Training of Neural Networks [20.18957052535565]
  トレーニング中のニューラルネットワークの重みが不足している場合に特化して、バックプロパゲーションアルゴリズムの新たな効率的なバージョンを提供する。 我々のアルゴリズムは、任意の(非構造的な)スパーシリティと共通層タイプに適用されるため、一般的なものである。 我々は、すでに分離されたネットワークを用いたトランスファーラーニングや、スパースネットワークをスクラッチからトレーニングすることで、エンドツーエンドのランタイム実験で高速化できることを示す。
  論文  参考訳（メタデータ） (2023-02-09T18:54:05Z)
• Efficient On-device Training via Gradient Filtering [14.484604762427717]
  デバイス上でのCNNモデルトレーニングを可能にする新しい勾配フィルタリング手法を提案する。 我々のアプローチは勾配写像の特異な要素が少ない特別な構造を生成する。 弊社のアプローチは、デバイス上でのトレーニングの大きな可能性を秘めた、新しい研究の方向性を開く。
  論文  参考訳（メタデータ） (2023-01-01T02:33:03Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
  低ランクニューラルネットワークの学習アルゴリズムについて検討する。 単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。 低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-02T01:08:29Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
  本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。 本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
  論文  参考訳（メタデータ） (2020-10-29T22:53:10Z)
• BP-DIP: A Backprojection based Deep Image Prior [49.375539602228415]
  画像復元手法として, (i)Deep Image Prior (DIP) と (ii) バックプロジェクション (BP) の2つの手法を提案する。 提案手法はBP-DIP(BP-DIP)と呼ばれ,高いPSNR値とより優れた推論実行時間を持つ通常のDIPよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-03-11T17:09:12Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。