論文の概要: Forward-Only Learning for Shared-Kernel Wavelet Neural Networks without Backpropagation

• arxiv url: http://arxiv.org/abs/2610.29697v1
• Date: Wed, 21 Oct 2026 13:11:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.252083
• Title: Forward-Only Learning for Shared-Kernel Wavelet Neural Networks without Backpropagation
• Title（参考訳）: バックプロパゲーションのない共有カーネルウェーブレットニューラルネットワークのフォワードオンリー学習
• Abstract要約: ウェーブレットニューラルネットワークのためのCMA-ESに基づくグローバルフォワードオンリー学習フレームワークを提案する。 本手法は, 後方伝播を伴わずに, 試験MSEを4.1783から4.0130に低減し, PSNRを42.621から42.787dBに改善する。
• 参考スコア（独自算出の注目度）: 9.764609509192528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation remains the dominant training paradigm, using backward gradients and local updates that can suffer from vanishing or exploding gradients in deep networks. Although the Forward-Forward algorithm avoids conventional backpropagation, it remains mainly local or layer-wise, motivating global whole-network learning using forward evaluations only. For shared-kernel wavelet neural networks, we therefore propose a CMA-ES-based global forward-only learning framework. We further introduce structure-aware parameter decomposition and channel-specific credit assignment, factorizing the search into three subspaces. On BSDS500, our method reduces test MSE from 4.1783 to 4.0130 and improves PSNR from 42.621 to 42.787~dB over Adam/BP without backward propagation. Beyond these gains, training requires only 6 training-set coverages, compared with 1500 epochs for BP. Ablations show that structural decomposition and aligned credit assignment are more important than increasing population size, demonstrating the feasibility of whole-network forward-only learning for compact reconstruction networks. These results suggest a potential route toward forward-only optimization of compact reconstruction models for resource-constrained imaging and edge or near-sensor systems.
• Abstract（参考訳）: バックプロパゲーションは依然として主流のトレーニングパラダイムであり、下位勾配と、深層ネットワークの消滅や爆発的な勾配に悩まされるローカルアップデートを使用している。 フォワード・フォワードアルゴリズムは従来のバックプロパゲーションを回避しているが、主に局所的あるいは層的であり、フォワード評価のみを用いたグローバルネットワーク学習を動機付けている。 そこで我々は,共有カーネルウェーブレットニューラルネットワークに対して,CMA-ESに基づくグローバルフォワードオンリー学習フレームワークを提案する。 さらに、構造認識パラメータ分解とチャネル固有のクレジット代入を導入し、3つの部分空間に分解する。 BSDS500 ではテスト MSE が 4.1783 から 4.0130 に削減され,PSNR が 42.621 から 42.787~dB に改善された。 これらの向上に加えて、BPの1500エポックと比較してトレーニングは6つのトレーニングセットのカバレッジしか必要としない。 アブレーションは、構造的分解とアライメント・クレジット・アサインメントが人口規模の増加よりも重要であることを示し、コンパクトな再構成ネットワークのためのネットワーク全体のフォワード・オン・ラーニングの実現可能性を示している。 これらの結果から,資源制約画像とエッジ・近接センサシステムのためのコンパクト再構成モデルの前方のみの最適化に向けた潜在的経路が示唆された。

関連論文リスト

• ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling [57.91760520589592]
  ネットワークの深度を拡大することは、現代の基礎モデルの成功の背後にある中心的な要因である。 本稿では,ニューラルネットワークの奥行き,すなわち残差接続の既定メカニズムを再考する。 我々は、データから残余接続性をパラメータ化し、学習する原則的かつ軽量なフレームワークである、適応型ニューラルネットワーク再割り当て(ANCRe)を導入する。
  論文  参考訳（メタデータ） (2026-02-09T18:54:18Z)
• Multigrade Neural Network Approximation [13.496991650323038]
  深層ニューラルネットワークにおける構造的誤り改善のための基本的枠組みを開発する。 任意の連続的対象関数に対して、固定幅ブロックの多重グレード $textttRe$LU が存在し、その残差はグレードによって減少し、一様収束することを示す。
  論文  参考訳（メタデータ） (2026-01-23T16:46:25Z)
• Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
  バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。 ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。 低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-29T15:03:46Z)
• NeRF-based CBCT Reconstruction needs Normalization and Initialization [53.58395475423445]
  NeRFベースの手法は、ハッシュエンコーダとニューラルネットワークという2つの主要なコンポーネント間の局所的な訓練ミスマッチに悩まされる。 特徴整合性を高め、ミスマッチを緩和する正規化ハッシュを導入する。 ニューラルネットワークは早期トレーニング中に安定性が向上し、より高速な収束と再構築性能が向上する。
  論文  参考訳（メタデータ） (2025-06-24T16:01:45Z)
• Auto-Compressing Networks [51.221103189527014]
  本稿では,各層からの長いフィードフォワード接続が従来の短残コネクションに取って代わるアーキテクチャ変種であるAuto-compression Networks (ACNs)を紹介する。 本稿では,ACNが残差ネットワークと比較して高雑音を示すこと,低データ設定における優れた性能を示すこと,破滅的忘れを軽減できることを述べる。 これらの知見は、効率的な神経アーキテクチャを開発するための実践的なアプローチとしてACNを確立している。
  論文  参考訳（メタデータ） (2025-06-11T13:26:09Z)
• Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition [11.399520888150468]
  ローランド誘導訓練(LoRITa)と呼ばれる理論的修正手法を提案する。 LoRITaは線形層を構成することで低ランク化を促進し、特異値切り込みを用いて圧縮する。 我々は,完全連結ネットワーク上でのMNIST,視覚変換器上でのCIFAR10,畳み込みニューラルネットワーク上でのCIFAR10/100と画像ネットを用いたアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-06T00:58:23Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Biologically Plausible Training of Deep Neural Networks Using a Top-down Credit Assignment Network [32.575847142016585]
  トップダウン・クレジット・アサインメント・ネットワーク(TDCA-network)は、トップダウン・クレジット・アサインメント・ネットワーク(TDCA-network)を用いてボトムアップ・ネットワークを訓練するように設計されている。 TDCAネットワークは、ニューラルネットワークトレーニングで広く使われている従来の損失関数とバックプロパゲーションアルゴリズムの代用として機能する。 その結果、TDCA-networkは様々なデータセットでニューラルネットワークをトレーニングする有望な可能性を示唆している。
  論文  参考訳（メタデータ） (2022-08-01T07:14:37Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。