論文の概要: Forward Only Learning for Orthogonal Neural Networks of any Depth

• arxiv url: http://arxiv.org/abs/2512.20668v1
• Date: Fri, 19 Dec 2025 10:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.55115
• Title: Forward Only Learning for Orthogonal Neural Networks of any Depth
• Title（参考訳）: 任意の深さの直交ニューラルネットワークに対するフォワード学習
• Authors: Paul Caillon, Alex Colagrande, Erwan Fagnou, Blaise Delattre, Alexandre Allauzen,
• Abstract要約: バックプロパゲーションは今日でもニューラルネットワークのトレーニングに使われているデファクトアルゴリズムだ。 PEPITAとフォワードオンリーのフレームワークは、有望な代替案を提案したが、いくつかの隠れたレイヤにスケールアップできなかった。 バックプロパゲーションアルゴリズムでギャップを埋めるFOTONを導入する。
• 参考スコア（独自算出の注目度）: 42.47993597828749
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Backpropagation is still the de facto algorithm used today to train neural networks. With the exponential growth of recent architectures, the computational cost of this algorithm also becomes a burden. The recent PEPITA and forward-only frameworks have proposed promising alternatives, but they failed to scale up to a handful of hidden layers, yet limiting their use. In this paper, we first analyze theoretically the main limitations of these approaches. It allows us the design of a forward-only algorithm, which is equivalent to backpropagation under the linear and orthogonal assumptions. By relaxing the linear assumption, we then introduce FOTON (Forward-Only Training of Orthogonal Networks) that bridges the gap with the backpropagation algorithm. Experimental results show that it outperforms PEPITA, enabling us to train neural networks of any depth, without the need for a backward pass. Moreover its performance on convolutional networks clearly opens up avenues for its application to more advanced architectures. The code is open-sourced at https://github.com/p0lcAi/FOTON .
• Abstract（参考訳）: バックプロパゲーションは今日でもニューラルネットワークのトレーニングに使われているデファクトアルゴリズムだ。 近年のアーキテクチャの指数的な成長に伴い、このアルゴリズムの計算コストも重荷となる。 最近のPEPITAとフォワードオンリーのフレームワークは、有望な代替案を提案したが、いくつかの隠しレイヤにスケールアップできず、使用を制限した。 本稿ではまず,これらのアプローチの主な限界を理論的に解析する。 これは線形および直交仮定の下でのバックプロパゲーションと等価なフォワード専用アルゴリズムの設計を可能にする。 線形仮定を緩和することにより、バックプロパゲーションアルゴリズムでギャップを埋めるFOTON(Forward-Only Training of Orthogonal Networks)を導入する。 実験の結果,PEPITAよりも優れており,後進パスを必要とせず,任意の深さのニューラルネットワークをトレーニングすることができることがわかった。 さらに、畳み込みネットワークの性能は、より高度なアーキテクチャに応用するための道を開く。 コードはhttps://github.com/p0lcAi/FOTONで公開されている。

関連論文リスト

• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Improving the Backpropagation Algorithm with Consequentialism Weight Updates over Mini-Batches [0.40611352512781856]
  適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。 我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。 我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
  論文  参考訳（メタデータ） (2020-03-11T08:45:36Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。