論文の概要: Stochastic Forward-Forward Learning through Representational Dimensionality Compression

• arxiv url: http://arxiv.org/abs/2505.16649v1
• Date: Thu, 22 May 2025 13:19:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.314435
• Title: Stochastic Forward-Forward Learning through Representational Dimensionality Compression
• Title（参考訳）: 表現次元圧縮による確率的前方学習
• Authors: Zhichao Zhu, Yang Qi, Hengyuan Ma, Wenlian Lu, Jianfeng Feng,
• Abstract要約: フォワードフォワード(FF)アルゴリズムは、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)のボトムアップ代替を提供する。 本稿では, 2次統計構造を組み込むために, 変動するニューラルレスポンスの有効次元性(ED)を用いて, 次元圧縮と呼ばれる新しい良性関数を提案する。
• 参考スコア（独自算出の注目度）: 7.847900313045352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Forward-Forward (FF) algorithm provides a bottom-up alternative to backpropagation (BP) for training neural networks, relying on a layer-wise "goodness" function to guide learning. Existing goodness functions, inspired by energy-based learning (EBL), are typically defined as the sum of squared post-synaptic activations, neglecting the correlations between neurons. In this work, we propose a novel goodness function termed dimensionality compression that uses the effective dimensionality (ED) of fluctuating neural responses to incorporate second-order statistical structure. Our objective minimizes ED for clamped inputs when noise is considered while maximizing it across the sample distribution, promoting structured representations without the need to prepare negative samples. We demonstrate that this formulation achieves competitive performance compared to other non-BP methods. Moreover, we show that noise plays a constructive role that can enhance generalization and improve inference when predictions are derived from the mean of squared outputs, which is equivalent to making predictions based on the energy term. Our findings contribute to the development of more biologically plausible learning algorithms and suggest a natural fit for neuromorphic computing, where stochasticity is a computational resource rather than a nuisance. The code is available at https://github.com/ZhichaoZhu/StochasticForwardForward
• Abstract（参考訳）: Forward-Forward(FF)アルゴリズムは、ニューラルネットワークをトレーニングするためのバックプロパゲーション(BP)のボトムアップ代替手段を提供する。 エネルギーベース学習(EBL)にインスパイアされた既存の良性関数は、通常、正方形のシナプス後の活性化の和として定義され、ニューロン間の相関を無視する。 本研究では, 2次統計構造を組み込むために, 変動するニューラルレスポンスの有効次元性(ED)を用いて, 次元圧縮と呼ばれる新しい良性関数を提案する。 本研究の目的は, ノイズを考慮した場合のクランプ入力に対するEDを最小化するとともに, サンプル分布を最大化し, 負のサンプルを作成することなく構造表現を促進することである。 この定式化は,他の非BP法と比較して競争性能が向上することを示す。 さらに、エネルギー項に基づいて予測を行うのに等価な2乗出力の平均から予測が導出されるとき、雑音が一般化を高め、推論を改善するという構成的な役割を担っていることを示す。 本研究は, より生物学的に検証可能な学習アルゴリズムの開発に寄与し, 確率性はニュアンスではなく計算資源であるニューロモルフィックコンピューティングに自然に適合することが示唆された。 コードはhttps://github.com/ZhichaoZhu/StochasticForwardForwardで公開されている。

関連論文リスト

• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• IB-UQ: Information bottleneck based uncertainty quantification for neural function regression and neural operator learning [11.5992081385106]
  本稿では,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークを提案する。 我々は,入力データの信頼度に応じて,入力を潜在表現に符号化する信頼認識エンコーダによってボトルネックを埋め込む。 また,外挿不確かさの質を高めるために,データ拡張に基づく情報ボトルネック目標を提案する。
  論文  参考訳（メタデータ） (2023-02-07T05:56:42Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets [2.824895388993495]
  情報理論AEPに基づく信頼性学習の理論的保証を提供する。 次に、高効率なリカレントニューラルネット(RNN)フレームワークに焦点を当て、少数ショット学習のための縮小エントロピーアルゴリズムを提案する。 実験結果から,学習モデルのサンプル効率,一般化,時間的複雑さを向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-28T17:33:11Z)
• PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks with Probabilities over Representations [2.047424180164312]
  本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。 我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-28T14:11:07Z)
• Parsimonious Computing: A Minority Training Regime for Effective Prediction in Large Microarray Expression Data Sets [20.894226248856313]
  本稿では,限られた計算資源に制約された浅いアーキテクチャを用いて,大規模マイクロアレイデータセット上で遺伝子発現推論を行う手法を提案する。 データセットのランダムなサブサンプリング,適応型リプシッツ定数インスパイア学習率,新たなアクティベーション関数,A-ReLUを組み合わせることで,論文で報告された結果の達成に寄与した。
  論文  参考訳（メタデータ） (2020-05-18T03:45:05Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。