論文の概要: Nonlinear Direct Feedback Alignment for Scalable Backpropagation-Free Training

• arxiv url: http://arxiv.org/abs/2610.36718v1
• Date: Tue, 27 Oct 2026 06:33:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.529022
• Title: Nonlinear Direct Feedback Alignment for Scalable Backpropagation-Free Training
• Title（参考訳）: スケーラブルなバックプロパゲーションフリートレーニングのための非線形直接フィードバックアライメント
• Abstract要約: バックプロパゲーション(BP)は、ディープニューラルネットワークをトレーニングするための主要なアルゴリズムであるが、生物学的には理解不能であり、後方ロックの問題に悩まされている。 非線形サロゲートサブネットワークを用いた各隠れ層フィードバックを構成するダイレクトフィードバックアライメント(NDFA)を提案する。 NDFAは、既存のDFAベースの手法を一貫して上回り、効率のよい並列トレーニングを維持しながら、パフォーマンスギャップをBPにかなり狭めている。
• 参考スコア（独自算出の注目度）: 23.034994133316605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation (BP) remains the predominant algorithm for training deep neural networks, but it is biologically implausible and suffers from the backward locking problem, constraining parallelization across layers. Direct Feedback Alignment~(DFA), which propagates the global output error directly to each hidden layer via fixed feedback matrices, has emerged as a promising alternative for addressing these limitations. However, a significant performance gap persists between DFA and BP, which we attribute to the limited ability of fixed feedback matrices to capture the nonlinear transformation from hidden representations to the network output. To address this limitation, we propose Nonlinear Direct Feedback Alignment (NDFA), which constructs each hidden-layer feedback using a lightweight nonlinear surrogate subnetwork. To enhance the effectiveness of the feedback throughout training, we further propose a learning strategy to update the surrogate subnetwork, thereby better approximating the underlying nonlinear transformation. Extensive experiments across residual networks and vision transformers on CIFAR-10, CIFAR-100, SVHN, and ImageNet datasets demonstrate that NDFA consistently outperforms existing DFA-based methods and substantially narrows the performance gap to BP, while maintaining efficient parallel training. The code is available at https://github.com/YanFan321/NDFA.
• Abstract（参考訳）: バックプロパゲーション(BP)は、ディープニューラルネットワークをトレーニングするための主要なアルゴリズムであるが、生物学的に不明瞭であり、下位ロックの問題に悩まされ、層間の並列化を制限している。 直接フィードバックアライメント~(DFA)は、固定されたフィードバック行列を介して各隠れ層に直接グローバルな出力エラーを伝播するものであり、これらの制限に対処するための有望な代替手段として現れている。 しかし、DFAとBPの間には顕著な性能差があり、これは固定されたフィードバック行列が隠れ表現からネットワーク出力への非線形変換を捉える能力に限界があるためである。 この制限に対処するため、軽量な非線形サロゲートサブネットワークを用いて各隠れ層フィードバックを構築する非線形直接フィードバックアライメント(NDFA)を提案する。 トレーニングを通してのフィードバックの有効性を高めるために,サロゲートサブネットワークを更新し,基礎となる非線形変換をよりよく近似する学習戦略を提案する。 CIFAR-10, CIFAR-100, SVHN, ImageNetデータセット上の残差ネットワークとビジョントランスフォーマーの広範な実験により、NDFAは既存のDFAベースの手法を一貫して上回り、性能ギャップをBPに大幅に狭め、効率的な並列トレーニングを維持していることが示された。 コードはhttps://github.com/YanFan321/NDFAで公開されている。

関連論文リスト

• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
  バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。 ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。 低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-29T15:03:46Z)
• Local Pairwise Distance Matching for Backpropagation-Free Reinforcement Learning [0.9065034043031668]
  強化学習(RL)を用いたニューラルネットワークのトレーニングは一般的にバックプロパゲーション(BP)に依存している BPは後続の更新のためにフォワードパスからのアクティベーションを格納する必要がある。 本稿では、RL設定において、前部パス中の局所信号を用いてニューラルネットワークの各層をトレーニングする新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-15T14:39:41Z)
• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
  ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。 我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。 我々のフレームワークは、一般的な非線形グラフの検証を可能にし、単純なNNを超えた検証アプリケーションを可能にする。
  論文  参考訳（メタデータ） (2024-05-31T17:51:07Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Implicit Regularization in Feedback Alignment Learning Mechanisms for Neural Networks [8.324038619175266]
  フィードバックアライメント(FA)法は、階層間の通信を減らしたニューラルネットワークをトレーニングするための生物学的にインスパイアされた局所学習規則である。 本研究では、FAにおけるアライメントの背後にある運用原則を解明する統一的なフレームワークを紹介する。 全体として、これらの理論的および実践的な進歩は、生物工学的な学習規則の解釈可能性を改善し、強化されたFAアルゴリズムを開発するための基盤を提供する。
  論文  参考訳（メタデータ） (2023-06-02T18:57:24Z)
• Low-Variance Forward Gradients using Direct Feedback Alignment and Momentum [0.0]
  本稿では,アクティビティ・パータード・フォワード・グラディエントと直接フィードバックアライメントとモーメントを組み合わせたアルゴリズムを提案する。 我々のアプローチは、バックプロパゲーションの他のローカル代替手段と比較して、より高速な収束と性能の向上を可能にします。
  論文  参考訳（メタデータ） (2022-12-14T15:30:56Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)
• Align, then memorise: the dynamics of learning with feedback alignment [12.587037358391418]
  直接フィードバックアライメント(DFA)は、ディープニューラルネットワークのトレーニングのためのユビキタスバックプロパゲーションアルゴリズムの効率的な代替手段である。 DFAはTransformersのような最先端モデルのトレーニングに成功したが、畳み込みネットワークのトレーニングには失敗している。 本稿では,DFAの成功に関する理論を提案する。
  論文  参考訳（メタデータ） (2020-11-24T22:21:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。