論文の概要: NoProp: Training Neural Networks without Full Back-propagation or Full Forward-propagation

• arxiv url: http://arxiv.org/abs/2503.24322v2
• Date: Sun, 17 Aug 2025 15:24:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:09.891812
• Title: NoProp: Training Neural Networks without Full Back-propagation or Full Forward-propagation
• Title（参考訳）: NoProp: 完全なバックプロパゲーションやフルフォワードプロパゲーションのないニューラルネットワークのトレーニング
• Authors: Qinyu Li, Yee Whye Teh, Razvan Pascanu,
• Abstract要約: NoProp という新しい学習手法を導入し,ネットワークの前方および後方の伝播に依存しない。 NoPropは拡散とフローマッチングの手法から着想を得ている。 MNIST, CIFAR-10, CIFAR-100画像分類ベンチマークにおいて, 本手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 47.978316065775246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The canonical deep learning approach for learning requires computing a gradient term at each block by back-propagating the error signal from the output towards each learnable parameter. Given the stacked structure of neural networks, where each block builds on the representation of the block below, this approach leads to hierarchical representations. More abstract features live on the top blocks of the model, while features on lower blocks are expected to be less abstract. In contrast to this, we introduce a new learning method named NoProp, which does not rely on either forward or backwards propagation across the entire network. Instead, NoProp takes inspiration from diffusion and flow matching methods, where each block independently learns to denoise a noisy target using only local targets and back-propagation within the block. We believe this work takes a first step towards introducing a new family of learning methods that does not learn hierarchical representations -- at least not in the usual sense. NoProp needs to fix the representation at each block beforehand to a noised version of the target, learning a local denoising process that can then be exploited at inference. We demonstrate the effectiveness of our method on MNIST, CIFAR-10, and CIFAR-100 image classification benchmarks. Our results show that NoProp is a viable learning algorithm, is easy to use and computationally efficient. By departing from the traditional learning paradigm which requires back-propagating a global error signal, NoProp alters how credit assignment is done within the network, enabling more efficient distributed learning as well as potentially impacting other characteristics of the learning process.
• Abstract（参考訳）: 学習のための標準ディープラーニングアプローチでは、出力から各学習可能なパラメータへの誤り信号のバックプロパゲートによって、各ブロックの勾配項を計算する必要がある。 各ブロックが下のブロックの表現に基づいて構築されるニューラルネットワークの積み重ね構造を考えると、このアプローチは階層的な表現につながる。 より抽象的な機能はモデルの上位ブロックに存在し、下位ブロックの機能はより抽象的なものになると期待されている。 これとは対照的に、ネットワーク全体の前方または後方の伝播に依存しないNoPropという新しい学習手法を導入する。 その代わりに、NoPropは拡散とフローマッチングの方法からインスピレーションを得ており、各ブロックは、ローカルターゲットとブロック内のバックプロパゲーションのみを使用して、ノイズの多いターゲットをノイズにする方法を独立して学習する。 私たちはこの研究が、階層的な表現を学ばない新しい学習方法のファミリーを導入するための第一歩だと信じています -- 少なくとも通常の意味では。 NoPropは、各ブロックでの表現を、ターゲットのノイズのあるバージョンに事前に修正し、推論時に利用可能なローカルなdenoisingプロセスを学ぶ必要がある。 MNIST, CIFAR-10, CIFAR-100画像分類ベンチマークにおいて, 本手法の有効性を示す。 この結果から,NoPropは有効な学習アルゴリズムであり,使いやすく,計算的にも効率的であることが示唆された。 グローバルエラー信号のバックプロパゲーションを必要とする従来の学習パラダイムから脱却することで、NoPropはネットワーク内でのクレジット割り当ての方法を変え、より効率的な分散学習を可能にし、学習プロセスの他の特性に影響を及ぼす可能性がある。

関連論文リスト

• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Stacked unsupervised learning with a network architecture found by supervised meta-learning [4.209801809583906]
  階層化された教師なし学習は、バックプロパゲーションよりも生物学的に妥当に思える。 しかし、SULは実践的な応用においてバックプロパゲーションには程遠い。 MNIST桁の完全教師なしクラスタリングが可能なSULアルゴリズムを示す。
  論文  参考訳（メタデータ） (2022-06-06T16:17:20Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Forward Signal Propagation Learning [2.578242050187029]
  本稿では,学習信号を伝達し,フォワードパスを介してニューラルネットワークパラメータを更新する学習アルゴリズムを提案する。 生物学では、フィードバックのないニューロンが依然としてグローバルな学習信号を受信する方法を説明する。 sigpropは、フォワードパスのみで、グローバルな教師付き学習を可能にする。
  論文  参考訳（メタデータ） (2022-04-04T04:41:59Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• Eigen-CAM: Class Activation Map using Principal Components [1.2691047660244335]
  この論文は、解釈可能で堅牢で透明なモデルに対する需要の増加に対応するために、従来の考え方に基づいている。 提案したEigen-CAMは、畳み込み層から学習した特徴/表現の基本的なコンポーネントを計算し、視覚化する。
  論文  参考訳（メタデータ） (2020-08-01T17:14:13Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。