論文の概要: Energy-Efficient Deep Learning Without Backpropagation: A Rigorous Evaluation of Forward-Only Algorithms

• arxiv url: http://arxiv.org/abs/2511.01061v1
• Date: Sun, 02 Nov 2025 19:48:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.049264
• Title: Energy-Efficient Deep Learning Without Backpropagation: A Rigorous Evaluation of Forward-Only Algorithms
• Title（参考訳）: バックプロパゲーションのないエネルギー効率の良いディープラーニング:フォワードオンリーアルゴリズムの厳密な評価
• Authors: Przemysław Spyra, Witold Dzwinel,
• Abstract要約: 分類精度において,Mono-Forwardアルゴリズムが最適に調整されたBPベースラインを一貫して上回っていることを示す。 この優れた一般化は、エネルギー消費を最大41%削減し、トレーニングを最大34%高速化するなど、大幅な効率向上によって達成される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The long-held assumption that backpropagation (BP) is essential for state-of-the-art performance is challenged by this work. We present rigorous, hardware-validated evidence that the Mono-Forward (MF) algorithm, a backpropagation-free method, consistently surpasses an optimally tuned BP baseline in classification accuracy on its native Multi-Layer Perceptron (MLP) architectures. This superior generalization is achieved with profound efficiency gains, including up to 41% less energy consumption and up to 34% faster training. Our analysis, which charts an evolutionary path from Geoffrey Hinton's Forward-Forward (FF) to the Cascaded Forward (CaFo) and finally to MF, is grounded in a fair comparative framework using identical architectures and universal hyperparameter optimization. We further provide a critical re-evaluation of memory efficiency in BP-free methods, empirically demonstrating that practical overhead can offset theoretical gains. Ultimately, this work establishes MF as a practical, high-performance, and sustainable alternative to BP for MLPs.
• Abstract（参考訳）: バックプロパゲーション(BP)が最先端のパフォーマンスに欠かせないという長年の仮定は、この研究によって挑戦される。 バックプロパゲーションフリーな手法であるMono-Forward(MF)アルゴリズムが,ネイティブなMulti-Layer Perceptron(MLP)アーキテクチャの分類精度において,最適に調整されたBPベースラインを一貫して上回っていることを示す。 この優れた一般化は、エネルギー消費を最大41%削減し、トレーニングを最大34%高速化するなど、大幅な効率向上によって達成される。 我々の分析は、Geoffrey Hinton's Forward (FF) から Cascaded Forward (CaFo) 、そして MF への進化経路をグラフ化し、同じアーキテクチャと普遍的なハイパーパラメータ最適化を用いた公正な比較フレームワークに基礎を置いている。 さらに,BPフリー手法におけるメモリ効率の批判的再評価を行い,実用的オーバーヘッドが理論的利得を相殺できることを実証的に実証した。 最終的に、この研究は、MPPのBPに代わる実用的で高性能で持続可能な代替品としてMFを確立する。

関連論文リスト

• Beyond Backpropagation: Exploring Innovative Algorithms for Energy-Efficient Deep Neural Network Training [0.0]
  本稿では,BPフリートレーニング手法として,フォワードフォワード(FF),カスケードフォワード(CaFo),モノフォワード(MF)の3つを厳格に検討する。 MFはエネルギー消費を最大41%削減し、トレーニング時間を最大34%短縮する。
  論文  参考訳（メタデータ） (2025-09-23T14:27:44Z)
• BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
  現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。 この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。 しかし、これは現実世界の長い尾のデータ分布には適用できない。 本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
  論文  参考訳（メタデータ） (2025-06-29T15:12:50Z)
• Minimax Optimal Reinforcement Learning with Quasi-Optimism [9.410437324336275]
  EQO (Exploration via Quasi-Optimism) を新しいタイプの強化学習アルゴリズムとして導入する。 経験的分散への依存を回避し、国家行動訪問数の逆数に比例する単純なボーナス項を用いる。 性能と計算効率の両面で、既存のアルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-03-02T09:32:06Z)
• Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models [14.68920095399595]
  SPEFT(Sparsity-based PEFT)は、モデルの重み行列にトレーニング可能なスパース適応を導入する。 我々は、ゼロコストNASプロキシにインスパイアされたSPEFTのサリエンス指標を初めて体系的に評価した。 静的マスキング戦略と動的マスキング戦略を比較し、トレーニング前にゼロでないエントリを事前に決定する静的マスキングが、パフォーマンスを犠牲にすることなく効率を向上することを示した。
  論文  参考訳（メタデータ） (2024-12-18T04:14:35Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。