論文の概要: Scalable Forward-Forward Algorithm

• arxiv url: http://arxiv.org/abs/2501.03176v1
• Date: Mon, 06 Jan 2025 17:49:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:41.442615
• Title: Scalable Forward-Forward Algorithm
• Title（参考訳）: スケーラブルフォワードアルゴリズム
• Authors: Andrii Krutsylo,
• Abstract要約: 本稿では,各レイヤを個別にトレーニングすることで,バックプロパゲーションの必要性を解消する,スケーラブルなフォワードフォワード(FF)アルゴリズムを提案する。 FFをMobileNetV3やResNet18のようなモダンな畳み込みアーキテクチャに拡張し、畳み込みレイヤの損失を計算する新しい方法を導入しました。
• 参考スコア（独自算出の注目度）: 1.9580473532948401
• License:
• Abstract: We propose a scalable Forward-Forward (FF) algorithm that eliminates the need for backpropagation by training each layer separately. Unlike backpropagation, FF avoids backward gradients and can be more modular and memory efficient, making it appealing for large networks. We extend FF to modern convolutional architectures, such as MobileNetV3 and ResNet18, by introducing a new way to compute losses for convolutional layers. Experiments show that our method achieves performance comparable to standard backpropagation. Furthermore, when we divide the network into blocks, such as the residual blocks in ResNet, and apply backpropagation only within each block, but not across blocks, our hybrid design tends to outperform backpropagation baselines while maintaining a similar training speed. Finally, we present experiments on small datasets and transfer learning that confirm the adaptability of our method.
• Abstract（参考訳）: 本稿では,各レイヤを個別にトレーニングすることで,バックプロパゲーションの必要性を解消する,スケーラブルなフォワードフォワード(FF)アルゴリズムを提案する。 バックプロパゲーションとは異なり、FFは後方勾配を回避し、よりモジュラーでメモリ効率が良く、大きなネットワークにアピールする。 FFをMobileNetV3やResNet18のようなモダンな畳み込みアーキテクチャに拡張し、畳み込みレイヤの損失を計算する新しい方法を導入しました。 実験の結果,提案手法は標準のバックプロパゲーションに匹敵する性能が得られることがわかった。 さらに、ResNetの残留ブロックなどのブロックにネットワークを分割し、各ブロック内でのみバックプロパゲーションを適用する場合、同じトレーニング速度を維持しながらバックプロパゲーションベースラインを上回る傾向にある。 最後に,本手法の適応性を確認するための,小規模なデータセットと移動学習実験について述べる。

関連論文リスト

• Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise Training of Neural Networks [9.718519843862937]
  ブロックワイズBPフリー(BWBPF)ニューラルネットワークを導入し、局所誤差信号を利用してサブニューラルネットワークを個別に最適化する。 実験結果から,VGGとResNetのバラツキに対して,トランスファー可能な疎結合アーキテクチャを同定できることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T08:02:33Z)
• Convolutional Channel-wise Competitive Learning for the Forward-Forward Algorithm [5.1246638322893245]
  深層ニューラルネットワークのトレーニングに一般的に使用されるバックプロパゲーション(BP)の問題を軽減するために,フォワードフォワード(FF)アルゴリズムが提案されている。 我々は、画像分類タスクにおける畳み込みニューラルネットワークの文脈において、チャネルワイズ競争学習を活用することにより、FFの主な考え方を取り入れ、それらを改善する。 MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100の試験誤差は0.58%, 7.69%, 21.89%, 48.77%であった。
  論文  参考訳（メタデータ） (2023-12-19T23:48:43Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Block-wise Training of Residual Networks via the Minimizing Movement Scheme [10.342408668490975]
  本研究では,分散空間における勾配流の最小化運動スキームに着想を得たレイヤワイドトレーニング手法を開発した。 この方法は各ブロックの運動エネルギー正則化に比例し、ブロックを最適な輸送マップとし、それらを規則性で与える。 これは、レイヤーワイドトレーニングで観測される停滞問題を緩和することで機能し、強欲に訓練された初期の層が過度に適合し、深い層が一定の深さの後にテストの精度を高めるのを阻止する。
  論文  参考訳（メタデータ） (2022-10-03T14:03:56Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• Stochastic Block-ADMM for Training Deep Networks [16.369102155752824]
  ディープニューラルネットワークをバッチおよびオンライン設定でトレーニングする手法として,Block-ADMMを提案する。 本手法はニューラルネットワークを任意の数のブロックに分割し,これらのブロックを補助変数で接続する。 我々は,提案手法の収束を証明し,教師あり・弱教師あり設定実験を通じてその能力の正当化を行う。
  論文  参考訳（メタデータ） (2021-05-01T19:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。