論文の概要: Generalising E-prop to Deep Networks

• arxiv url: http://arxiv.org/abs/2512.24506v1
• Date: Tue, 30 Dec 2025 23:10:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.509188
• Title: Generalising E-prop to Deep Networks
• Title（参考訳）: ディープネットワークへのE-propの一般化
• Authors: Beren Millidge,
• Abstract要約: リカレントネットワークは通常、時間を通してバックプロパゲーションでトレーニングされる。 BPTTはネットワーク内のすべての状態の履歴を保存し、その後、順番に後方に再生する必要がある。 RTRLは数学的に等価な代替案を提案し、勾配情報は通常の前方通過と共に局所的に時間的に前方に伝播される。 E-prop は RTRL の近似を提案し、複雑性を BPTT レベルまで下げる。
• 参考スコア（独自算出の注目度）: 10.891416812981495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent networks are typically trained with backpropagation through time (BPTT). However, BPTT requires storing the history of all states in the network and then replaying them sequentially backwards in time. This computation appears extremely implausible for the brain to implement. Real Time Recurrent Learning (RTRL) proposes an mathematically equivalent alternative where gradient information is propagated forwards in time locally alongside the regular forward pass, however it has significantly greater computational complexity than BPTT which renders it impractical for large networks. E-prop proposes an approximation of RTRL which reduces its complexity to the level of BPTT while maintaining a purely online forward update which can be implemented by an eligibility trace at each synapse. However, works on RTRL and E-prop ubiquitously investigate learning in a single layer with recurrent dynamics. However, learning in the brain spans multiple layers and consists of both hierarchal dynamics in depth as well as time. In this mathematical note, we extend the E-prop framework to handle arbitrarily deep networks, deriving a novel recursion relationship across depth which extends the eligibility traces of E-prop to deeper layers. Our results thus demonstrate an online learning algorithm can perform accurate credit assignment across both time and depth simultaneously, allowing the training of deep recurrent networks without backpropagation through time.
• Abstract（参考訳）: リカレントネットワークは通常、時間によるバックプロパゲーション(BPTT)で訓練される。 しかし、BPTTはネットワーク内のすべての状態の履歴を保存し、その後、順番に後方に再生する必要がある。 この計算は、脳が実装するのは極めて不確実なように見える。 Real Time Recurrent Learning (RTRL) は、勾配情報を通常の前方通過と共に局所的に時間的に伝播する数学的に等価な方法を提案するが、大規模ネットワークでは非現実的なBPTTよりも計算の複雑さが大きい。 E-prop は RTRL の近似を提案し,その複雑性を BPTT レベルまで低減し,オンラインのフォワード更新を純粋に維持する。 しかし、RTRLとE-propの研究は、リカレントダイナミクスを持つ単一層での学習をユビキタスに調査している。 しかし、脳内での学習は複数の層にまたがり、時間だけでなく深さの階層的ダイナミクスの両方から成り立っている。 本稿では、E-propフレームワークを任意の深層ネットワークを扱うように拡張し、E-propの深い層への可視性トレースを拡張する新しい再帰関係を導出する。 この結果から,オンライン学習アルゴリズムは,時間と深さの双方で正確な信頼割当を同時に行うことができ,時間によるバックプロパゲーションを伴わないディープ・リカレント・ネットワークのトレーニングが可能となった。

関連論文リスト

• Auto-Compressing Networks [51.221103189527014]
  本稿では,各層からの長いフィードフォワード接続が従来の短残コネクションに取って代わるアーキテクチャ変種であるAuto-compression Networks (ACNs)を紹介する。 本稿では,ACNが残差ネットワークと比較して高雑音を示すこと,低データ設定における優れた性能を示すこと,破滅的忘れを軽減できることを述べる。 これらの知見は、効率的な神経アーキテクチャを開発するための実践的なアプローチとしてACNを確立している。
  論文  参考訳（メタデータ） (2025-06-11T13:26:09Z)
• Fast Training of Recurrent Neural Networks with Stationary State Feedbacks [48.22082789438538]
  リカレントニューラルネットワーク(RNN)は最近、Transformerよりも強力なパフォーマンスと高速な推論を実証している。 BPTTを固定勾配フィードバック機構で置き換える新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-29T14:45:52Z)
• Real-Time Recurrent Reinforcement Learning [7.737685867200335]
  部分観測可能なマルコフ決定過程(POMDP)における課題解決のための生物学的に妥当なRLフレームワークを提案する。 提案アルゴリズムは,(1)哺乳類の基底神経節に類似したMeta-RLアーキテクチャ,(2)時間差学習と適応性トレースを利用した生物学的に妥当な強化学習アルゴリズム,(3)共有されたリカレントネットワークバックボーンのパラメータに関する勾配を計算するオンライン自動微分アルゴリズムの3つの積分部分を組み合わせた。
  論文  参考訳（メタデータ） (2023-11-08T16:56:16Z)
• Scalable Real-Time Recurrent Learning Using Columnar-Constructive Networks [19.248060562241296]
  リアルタイム反復学習をスケーラブルにする2つの制約を提案する。 ネットワークを独立したモジュールに分解するか、段階的にネットワークを学習することで、RTRLをパラメータ数と線形にスケールできることを示す。 本稿では,動物学習とアタリ2600ゲームに対する事前学習ポリシーのポリシー評価により,Trncated-BPTTに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-20T23:17:48Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time [1.8515971640245998]
  最近開発されたBPTTの代替手段が、スパイクニューラルネットワークにどのように適用できるかを示す。 FPTTは、損失に対する動的に規則化されたリスクを最小化しようとする。 FPTTで訓練したSNNは、オンラインBPTT近似よりも優れており、時間的分類タスクにおいてオフラインBPTT精度に近づいたり、超えたりしている。
  論文  参考訳（メタデータ） (2021-12-20T13:44:20Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Hybrid Backpropagation Parallel Reservoir Networks [8.944918753413827]
  本稿では,貯水池のランダムな時間的特徴と深層ニューラルネットワークの読み出し能力と,バッチ正規化を併用した新しいハイブリッドネットワークを提案する。 我々の新しいネットワークはLSTMやGRUよりも優れていることを示す。 また, HBP-ESN M-Ring と呼ばれる新しいメタリング構造を組み込むことで, 1つの大きな貯水池に類似した性能を実現し, メモリ容量の最大化を図っている。
  論文  参考訳（メタデータ） (2020-10-27T21:03:35Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。