論文の概要: NoProp: Training Neural Networks without Back-propagation or Forward-propagation

• arxiv url: http://arxiv.org/abs/2503.24322v1
• Date: Mon, 31 Mar 2025 17:08:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:38:48.193760
• Title: NoProp: Training Neural Networks without Back-propagation or Forward-propagation
• Title（参考訳）: NoProp: バックプロパゲーションやフォワードプロパゲーションのないニューラルネットワークのトレーニング
• Authors: Qinyu Li, Yee Whye Teh, Razvan Pascanu,
• Abstract要約: 我々はNoPropという新しい学習手法を導入し、前方または後方の伝播に依存しない。 NoPropは拡散とフローマッチングの手法から着想を得ている。 MNIST, CIFAR-10, CIFAR-100画像分類ベンチマークにおいて, 本手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 47.978316065775246
• License:
• Abstract: The canonical deep learning approach for learning requires computing a gradient term at each layer by back-propagating the error signal from the output towards each learnable parameter. Given the stacked structure of neural networks, where each layer builds on the representation of the layer below, this approach leads to hierarchical representations. More abstract features live on the top layers of the model, while features on lower layers are expected to be less abstract. In contrast to this, we introduce a new learning method named NoProp, which does not rely on either forward or backwards propagation. Instead, NoProp takes inspiration from diffusion and flow matching methods, where each layer independently learns to denoise a noisy target. We believe this work takes a first step towards introducing a new family of gradient-free learning methods, that does not learn hierarchical representations -- at least not in the usual sense. NoProp needs to fix the representation at each layer beforehand to a noised version of the target, learning a local denoising process that can then be exploited at inference. We demonstrate the effectiveness of our method on MNIST, CIFAR-10, and CIFAR-100 image classification benchmarks. Our results show that NoProp is a viable learning algorithm which achieves superior accuracy, is easier to use and computationally more efficient compared to other existing back-propagation-free methods. By departing from the traditional gradient based learning paradigm, NoProp alters how credit assignment is done within the network, enabling more efficient distributed learning as well as potentially impacting other characteristics of the learning process.
• Abstract（参考訳）: 学習のための標準ディープラーニングアプローチでは、出力から各学習可能なパラメータへの誤り信号のバックプロパゲートによって、各レイヤの勾配項を計算する必要がある。 各層が下の層の表現の上に構築されるニューラルネットワークの積み重ね構造を考えると、このアプローチは階層的な表現につながる。 より抽象的な機能はモデルの上位層に存在し、下位層の機能はより抽象的なものになると期待されている。 これとは対照的に,我々はNoPropという新しい学習手法を導入する。 その代わり、NoPropは拡散とフローマッチングの手法からインスピレーションを得ており、各レイヤは独立してノイズの多いターゲットをノイズ化する。 少なくとも通常の意味では、階層的な表現を学習しない、勾配のない新しい学習方法のファミリーを導入するには、この研究は第一歩を踏み出すと思います。 NoPropは、各レイヤでの表現をターゲットのノイズバージョンに事前に修正し、推論時に悪用できるローカルなdenoisingプロセスを学ぶ必要がある。 MNIST, CIFAR-10, CIFAR-100画像分類ベンチマークにおいて, 本手法の有効性を示す。 この結果から,NoPropは,既存のバックプロパゲーションフリー手法と比較して,より精度が高く,使いやすく,計算効率も良い学習アルゴリズムであることが示唆された。 従来の勾配に基づく学習パラダイムから離れることで、NoPropはネットワーク内でのクレジット割り当ての方法を変え、より効率的な分散学習を可能にし、学習プロセスの他の特性に影響を及ぼす可能性がある。

関連論文リスト

• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Stacked unsupervised learning with a network architecture found by supervised meta-learning [4.209801809583906]
  階層化された教師なし学習は、バックプロパゲーションよりも生物学的に妥当に思える。 しかし、SULは実践的な応用においてバックプロパゲーションには程遠い。 MNIST桁の完全教師なしクラスタリングが可能なSULアルゴリズムを示す。
  論文  参考訳（メタデータ） (2022-06-06T16:17:20Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Forward Signal Propagation Learning [2.578242050187029]
  本稿では,学習信号を伝達し,フォワードパスを介してニューラルネットワークパラメータを更新する学習アルゴリズムを提案する。 生物学では、フィードバックのないニューロンが依然としてグローバルな学習信号を受信する方法を説明する。 sigpropは、フォワードパスのみで、グローバルな教師付き学習を可能にする。
  論文  参考訳（メタデータ） (2022-04-04T04:41:59Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• Eigen-CAM: Class Activation Map using Principal Components [1.2691047660244335]
  この論文は、解釈可能で堅牢で透明なモデルに対する需要の増加に対応するために、従来の考え方に基づいている。 提案したEigen-CAMは、畳み込み層から学習した特徴/表現の基本的なコンポーネントを計算し、視覚化する。
  論文  参考訳（メタデータ） (2020-08-01T17:14:13Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。