論文の概要: Learning Long-Range Dependencies with Temporal Predictive Coding
- arxiv url: http://arxiv.org/abs/2602.18131v1
- Date: Fri, 20 Feb 2026 10:46:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-23 18:01:41.295962
- Title: Learning Long-Range Dependencies with Temporal Predictive Coding
- Title（参考訳）: 時間予測符号化による長距離依存性の学習
- Authors: Tom Potter, Oliver Rhodes,
- Abstract要約: 本研究では、時間予測符号化(tPC)とリアルタイム反復学習(RLRL)を組み合わせた新しい手法を提案する。
提案手法は, BPTTの性能を, 実世界のベンチマークと実世界のタスクの両方でよく一致させることができることを示す。
15万のパラメータモデルを用いた機械翻訳課題において,提案手法は7.62(BPTTは7.49)のテストパープレキシティを実現する。
- 参考スコア（独自算出の注目度）: 0.31401665995867667
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictive Coding (PC) is a biologically-inspired learning framework characterised by local, parallelisable operations, properties that enable energy-efficient implementation on neuromorphic hardware. Despite this, extending PC effectively to recurrent neural networks (RNNs) has been challenging, particularly for tasks involving long-range temporal dependencies. Backpropagation Through Time (BPTT) remains the dominant method for training RNNs, but its non-local computation, lack of spatial parallelism, and requirement to store extensive activation histories results in significant energy consumption. This work introduces a novel method combining Temporal Predictive Coding (tPC) with approximate Real-Time Recurrent Learning (RTRL), enabling effective spatio-temporal credit assignment. Results indicate that the proposed method can closely match the performance of BPTT on both synthetic benchmarks and real-world tasks. On a challenging machine translation task, with a 15-million parameter model, the proposed method achieves a test perplexity of 7.62 (vs. 7.49 for BPTT), marking one of the first applications of tPC to tasks of this scale. These findings demonstrate the potential of this method to learn complex temporal dependencies whilst retaining the local, parallelisable, and flexible properties of the original PC framework, paving the way for more energy-efficient learning systems.
- Abstract（参考訳）: 予測符号化(英: Predictive Coding, PC)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする、局所的かつ並列的な操作によって特徴付けられる生物学的に着想を得た学習フレームワークである。
それにもかかわらず、PCをリカレントニューラルネットワーク(RNN)に効果的に拡張することは、特に長距離時間依存に関わるタスクでは困難である。
時間によるバックプロパゲーション (BPTT) は依然としてRNNを訓練する主要な方法であるが、その非局所計算、空間並列性の欠如、広範囲な活性化履歴を保存する必要性はエネルギー消費に大きな影響を及ぼす。
本研究では,時空間予測符号化(tPC)と近似実時間繰り返し学習(RTRL)を組み合わせた新しい手法を提案する。
提案手法は, BPTTの性能を, ベンチマークと実世界のタスクの両方でよく一致させることができることを示す。
15 万のパラメータモデルを用いた機械翻訳作業において,提案手法は7.62 (vs. 7.49 for BPTT)のテストパープレキシティを達成し,このスケールのタスクに対する tPC の最初の応用の1つをマークする。
これらの結果から,従来のPCフレームワークの局所的・並列的・柔軟な特性を維持しつつ,複雑な時間的依存関係を学習し,よりエネルギー効率の高い学習システムを実現することができる可能性が示唆された。
関連論文リスト
- Sample-Efficient Neurosymbolic Deep Reinforcement Learning [49.60927398960061]
本稿では,背景記号知識を統合し,サンプル効率を向上させるニューロシンボリックディープRL手法を提案する。
オンライン推論は2つのメカニズムを通じてトレーニングプロセスのガイドを行う。
我々は、最先端の報奨機ベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2026-01-06T09:28:53Z) - Fast Training of Recurrent Neural Networks with Stationary State Feedbacks [48.22082789438538]
リカレントニューラルネットワーク(RNN)は最近、Transformerよりも強力なパフォーマンスと高速な推論を実証している。
BPTTを固定勾配フィードバック機構で置き換える新しい手法を提案する。
論文 参考訳（メタデータ） (2025-03-29T14:45:52Z) - TESS: A Scalable Temporally and Spatially Local Learning Rule for Spiking Neural Networks [6.805933498669221]
リソース制約のあるデバイス上でのニューラルネットワーク(SNN)のトレーニングは、高い計算とメモリ要求のため、依然として困難である。
本稿では,SNNの学習のための時間的・空間的学習ルールであるTESSを紹介する。
本手法は,各ニューロン内の局所的な信号にのみ依存することにより,時間的および空間的クレジット割り当てに対処する。
論文 参考訳（メタデータ） (2025-02-03T21:23:15Z) - Real-Time Recurrent Reinforcement Learning [7.737685867200335]
部分観測可能なマルコフ決定過程(POMDP)における課題解決のための生物学的に妥当なRLフレームワークを提案する。
提案アルゴリズムは,(1)哺乳類の基底神経節に類似したMeta-RLアーキテクチャ,(2)時間差学習と適応性トレースを利用した生物学的に妥当な強化学習アルゴリズム,(3)共有されたリカレントネットワークバックボーンのパラメータに関する勾配を計算するオンライン自動微分アルゴリズムの3つの積分部分を組み合わせた。
論文 参考訳（メタデータ） (2023-11-08T16:56:16Z) - TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential
Modelling [54.97005925277638]
潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。
SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。
そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
論文 参考訳（メタデータ） (2023-08-25T08:54:41Z) - S-TLLR: STDP-inspired Temporal Local Learning Rule for Spiking Neural Networks [7.573297026523597]
スパイキングニューラルネットワーク(SNN)は生物学的に妥当なモデルであり、エッジにエネルギー効率の良いインテリジェンスをデプロイするための候補として特定されている。
本稿では,S-TLLRを提案する。S-TLLRはスパイク・タイミング依存塑性(STDP)機構にインスパイアされた新しい3要素時間的局所学習法である。
S-TLLRは、メモリと時間の複雑さが低く、時間ステップの数に依存しないように設計されており、低消費電力エッジデバイス上でのオンライン学習に適している。
論文 参考訳（メタデータ） (2023-06-27T05:44:56Z) - Efficient Real Time Recurrent Learning through combined activity and
parameter sparsity [0.5076419064097732]
時間によるバックプロパゲーション(BPTT)は、リカレントニューラルネットワーク(RNN)のトレーニングのための標準アルゴリズムである
BPTTはオンライン学習には不適であり、低リソースのリアルタイムシステムの実装に挑戦している。
実時間再帰学習(RTRL)の計算コストを削減できることを示す。
論文 参考訳（メタデータ） (2023-03-10T01:09:04Z) - ETLP: Event-based Three-factor Local Plasticity for online learning with
neuromorphic hardware [105.54048699217668]
イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。
また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
論文 参考訳（メタデータ） (2023-01-19T19:45:42Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Deep Q-network using reservoir computing with multi-layered readout [0.0]
リカレントニューラルネットワーク(RNN)に基づく強化学習(RL)は、文脈に依存したタスクの学習に使用される。
BPTTを使わずにエージェントを訓練するリプレイメモリ導入方式が提案されている。
本稿では,読み出し層に多層ニューラルネットワークを適用することにより,本手法の性能が向上することを示す。
論文 参考訳（メタデータ） (2022-03-03T00:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。