論文の概要: Towards Scalable Backpropagation-Free Gradient Estimation

• arxiv url: http://arxiv.org/abs/2511.03110v1
• Date: Wed, 05 Nov 2025 01:33:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.292097
• Title: Towards Scalable Backpropagation-Free Gradient Estimation
• Title（参考訳）: スケーラブルなバックプロパゲーションフリー勾配推定に向けて
• Authors: Daniel Wang, Evan Markou, Dylan Campbell,
• Abstract要約: 本稿では,推定方向の計算において,上流ヤコビ行列を演算することにより,バイアスと分散の両方を低減する勾配推定手法を提案する。 有望な結果を示し、より大きなネットワークにスケールする可能性があり、ネットワーク幅が増加するにつれて、実際にパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 19.04392409045641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While backpropagation--reverse-mode automatic differentiation--has been extraordinarily successful in deep learning, it requires two passes (forward and backward) through the neural network and the storage of intermediate activations. Existing gradient estimation methods that instead use forward-mode automatic differentiation struggle to scale beyond small networks due to the high variance of the estimates. Efforts to mitigate this have so far introduced significant bias to the estimates, reducing their utility. We introduce a gradient estimation approach that reduces both bias and variance by manipulating upstream Jacobian matrices when computing guess directions. It shows promising results and has the potential to scale to larger networks, indeed performing better as the network width is increased. Our understanding of this method is facilitated by analyses of bias and variance, and their connection to the low-dimensional structure of neural network gradients.
• Abstract（参考訳）: バックプロパゲーション(backproagation)-リバースモードの自動微分(reverse-mode auto differentiation)は、ディープラーニングにおいて極端に成功したが、ニューラルネットワークと中間的アクティベーションの保存には、2つのパス(前方と後方)が必要である。 フォワードモード自動微分を用いた既存の勾配推定法では、推定値のばらつきが大きいため、小さなネットワークを超えてスケールすることが困難である。 これを軽減する努力は、これまでのところ、見積もりにかなりの偏見をもたらし、実用性は低下している。 本稿では,推定方向の計算において,上流ヤコビ行列を演算することにより,バイアスと分散の両方を低減する勾配推定手法を提案する。 有望な結果を示し、より大きなネットワークにスケールする可能性があり、ネットワーク幅が増加するにつれて、実際にパフォーマンスが向上する。 本手法の理解は,バイアスと分散の分析とニューラルネットワーク勾配の低次元構造との関係により促進される。

関連論文リスト

• Efficient Estimation for Longitudinal Networks via Adaptive Merging [21.62069959992736]
  本稿では, 適応型ネットワークマージ, テンソル分解, 点過程の強みを利用した長手ネットワークの効率的な推定手法を提案する。 近隣のスパースネットワークをマージし、観測されたエッジの数を拡大し、推定分散を低減する。 提案手法は,各イテレーションにおける推定誤差の上限を設定することにより,推定を容易にする。
  論文  参考訳（メタデータ） (2022-11-15T03:17:11Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。