論文の概要: Reconstructing Backpropagation from Forward Fluctuations in Noise-modulated Neural Networks
- arxiv url: http://arxiv.org/abs/2607.26483v1
- Date: Wed, 29 Jul 2026 05:18:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.546412
- Title: Reconstructing Backpropagation from Forward Fluctuations in Noise-modulated Neural Networks
- Title（参考訳）: 雑音変調ニューラルネットワークにおける前方変動からの逆伝播の再構成
- Abstract要約: ノイズ変調ニューラルネットワーク(NNN)は、ノイズ処理ノイズの存在下でのみ、外乱ではなく計算資源として学習し、推測する。
フォワードパス統計だけで、バックプロパゲーション自体をNNNで再構築できることが示される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A Noise-modulated Neural Network (NNN) learns and infers only in the presence of noise, treating noise as a computational resource rather than a disturbance. The noise lets it learn efficiently by backpropagation while transmitting spike-like signals, but backpropagation needs a reverse path through transposed weights, the weight transport problem, which undermines biological and neuromorphic plausibility. Forward-only alternatives typically substitute a different objective or fixed random feedback, sacrificing stability and accuracy. We show that backpropagation itself can be reconstructed in the NNN from forward-pass statistics alone: a weight mirror estimates each weight matrix from the covariance between a previous-layer unit's output and the next-layer unit's input, and combining it with local differential estimation inside the units propagates the output error recursively along the computational graph, with no transposed-weight readout and no backward data path. The resulting gradient is empirically near-unbiased, and with local per-weight Adam updates it matches the final accuracy of backpropagation on simple regression tasks. With uniformly distributed noise, the local operations reduce to polynomials and comparators, making the whole system, learning rule included, well suited to digital circuits. Thus, in the NNN, noise is a resource not only for inference but also for reconstructing backpropagation.
- Abstract（参考訳）: ノイズ変調ニューラルネットワーク(NNN)は、ノイズの存在下でのみ学習し、推測し、ノイズを外乱ではなく計算資源として扱う。
このノイズは、スパイクのような信号を伝達しながら、バックプロパゲーションによって効率よく学習するが、バックプロパゲーションには、生体的および神経形態的可塑性を損なう重み輸送問題であるウェイトトランスポート問題(英語版)を通して逆経路を必要とする。
フォワードのみの代替案は、通常、異なる目的または固定されたランダムなフィードバックを置き換え、安定性と精度を犠牲にする。
重みミラーは、前層単位の出力と次層単位の入力との共分散から各重み行列を推定し、演算グラフに沿って再帰的に出力誤差を伝播し、逆方向のデータパスが不要であることを示す。
結果として得られる勾配は経験的にほとんど偏りがなく、Adamの局所的な更新では、単純な回帰タスクのバックプロパゲーションの最終的な精度と一致する。
均一に分散されたノイズにより、局所的な操作は多項式やコンパレータに還元され、システム全体、学習規則はデジタル回路によく適合する。
したがって、NNNでは、ノイズは推論だけでなく、バックプロパゲーションの再構築のためのリソースである。
関連論文リスト
- naPINN: Noise-Adaptive Physics-Informed Neural Networks for Recovering Physics from Corrupted Measurement [3.450547277166974]
本研究では,劣化測定から物理解を確実に回収する雑音適応型物理情報ニューラルネットワーク (naPINN) を提案する。
naPINNは、予測残差の潜在分布を学習するために、エネルギーベースのモデルをトレーニングループに組み込む。
非ガウス雑音とオフレーヤの変動率により劣化した様々なベンチマーク偏微分方程式に対するnaPINNの有効性を実証する。
論文 参考訳（メタデータ） (2026-01-30T06:03:33Z) - Paradoxical noise preference in RNNs [0.0]
生物学的ニューラルネットワークをモデル化するために使用されるリカレントニューラルネットワーク(RNN)では、通常、トレーニング中にノイズを導入し、生物学的多様性をエミュレートし、学習を規則化する。
連続時間リカレントニューラルネットワーク(CTRNN)は、非ゼロノイズレベル、特に、トレーニング中に使用されるものと同じレベルにおいて、よく機能する。
このノイズ嗜好は、ニューラルアクティベーション関数内でノイズが注入されたときに生じ、アクティベーション関数の外でノイズが注入された訓練されたネットワークは、ゼロノイズで最もよく機能する。
論文 参考訳（メタデータ） (2026-01-08T03:11:51Z) - Why Machine Learning Models Systematically Underestimate Extreme Values II: How to Fix It with LatentNN [0.2700171473617699]
減衰バイアスは、天文学的なデータ駆動モデルに影響を与える。
ニューラルネットワークは同じ減衰バイアスに悩まされていることを示す。
ネットワークパラメータと潜時入力値を協調的に最適化するLatentNNを提案する。
論文 参考訳（メタデータ） (2025-12-29T01:59:10Z) - N-ReLU: Zero-Mean Stochastic Extension of ReLU [5.691710068675227]
N-ReLU (Noise-ReLU) は標準正則線型単位 (ReLU) の零平均拡張である。
負のアクティベーションをガウスノイズに置き換え、同じ期待出力を保っている。
N-ReLUは、ReLU、LeakyReLU、PRELU、GELU、RRELUに匹敵するロバスト性を実現する。
論文 参考訳（メタデータ） (2025-11-10T19:07:10Z) - PEEL the Layers and Find Yourself: Revisiting Inference-time Data Leakage for Residual Neural Networks [64.90981115460937]
本稿では、ディープニューラルネットワーク(NN)の推論時データ漏洩リスクについて検討する。
残差NNの中間出力からブロックワイズ入力特徴を効果的に回収できる新しい後方特徴逆変換法である textbfPEEL を提案する。
その結果,平均二乗誤差 (MSE) で評価した場合,PEEL は最先端の回収方法よりも桁違いに優れていることがわかった。
論文 参考訳（メタデータ） (2025-04-08T20:11:05Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳（メタデータ） (2021-03-01T08:25:26Z) - Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。
我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。
私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
論文 参考訳（メタデータ） (2020-11-17T12:52:18Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳（メタデータ） (2020-06-02T11:17:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。