論文の概要: Pretraining Recurrent Networks without Recurrence

• arxiv url: http://arxiv.org/abs/2606.06479v1
• Date: Thu, 04 Jun 2026 17:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:45.030287
• Title: Pretraining Recurrent Networks without Recurrence
• Title（参考訳）: リカレンスのないリカレントネットワークの事前学習
• Authors: Akarsh Kumar, Phillip Isola,
• Abstract要約: リカレントニューラルネットワーク(RNN)のトレーニングには、長い列の計算でクレジットを割り当てる必要がある。 本稿では,再帰的クレジット伝搬を完全にサイドステップとする非線形RNNのトレーニング手法であるSupervised Memory Training (SMT)を提案する。
• 参考スコア（独自算出の注目度）: 28.905819079755762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training recurrent neural networks (RNNs) requires assigning credit across long sequences of computations. Standard backpropagation through time (BPTT) addresses this problem poorly: it is sequential in time, limiting parallelism, and suffers from vanishing or exploding gradients, making long-range associations difficult to learn. We propose Supervised Memory Training (SMT), a method for training nonlinear RNNs that sidesteps recurrent credit propagation entirely by reducing RNN training to supervised learning on one-step memory transition labels $(m_t, x_{t+1}) \rightarrow m_{t+1}$. SMT acquires these memory labels by training a Transformer-based encoder on a predictive state objective--retaining only information from the past necessary to predict the future. By decoupling what to remember from how to update memory, SMT enables time-parallel RNN training with a stable $O(1)$ length gradient path between any two tokens--without ever unrolling the RNN. We find that SMT outperforms BPTT when pretraining various RNN architectures on tasks like language modeling and pixel sequence modeling. SMT enables nonlinear RNNs to better capture long-range dependencies and train in parallel, potentially unlocking the scaling of models that build temporal abstractions of past experience.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)のトレーニングには、長い列の計算でクレジットを割り当てる必要がある。 時間による標準バックプロパゲーション(BPTT)は、時間的連続性であり、並列性を制限し、グラデーションの消滅や爆発に苦しむため、長距離関係の学習が困難である。 本稿では,1段階記憶遷移ラベル$(m_t, x_{t+1}) \rightarrow m_{t+1}$における教師あり学習にRNNトレーニングを還元することで,再帰的信用伝達を完全にサイドステップで行う非線形RNNのトレーニング手法であるSupervised Memory Training (SMT)を提案する。 SMTは、トランスフォーマーベースのエンコーダを予測状態(未来を予測するのに必要な過去の情報のみを保持する)でトレーニングすることで、これらのメモリラベルを取得する。 メモリの更新方法から何を記憶するかを分離することで、SMTは、RNNをアンロールすることなく、安定した$O(1)$長勾配パスで、タイム並列のRNNトレーニングを可能にする。 SMT は言語モデリングやピクセルシーケンスモデリングといったタスクにおいて,様々な RNN アーキテクチャを事前訓練する際の BPTT よりも優れていた。 SMTは、非線形RNNによる長距離依存関係のキャプチャと並列トレーニングを可能にし、過去の経験の時間的抽象化を構築するモデルのスケーリングをアンロックする可能性がある。

関連論文リスト

• Efficient Sparse Selective-Update RNNs for Long-Range Sequence Modeling [16.27516369166629]
  Selective-Update RNN(suRNN)は、入力が冗長であるときにメモリを保存することを学習する非線形アーキテクチャである。 情報イベントのみをオープンするニューロンレベルのバイナリスイッチを使用することで、SuRNNは、繰り返し更新を生のシーケンス長から切り離す。 Long Range Arena、WikiText、その他の総合ベンチマークの実験では、SuRNNはより複雑なモデルの精度と一致するか、超えるかを示している。
  論文  参考訳（メタデータ） (2026-02-11T14:50:07Z)
• Parallelizable memory recurrent units [1.3159512679346688]
  本稿では、非線形RNNの永続的メモリ能力とSSMの並列化計算を組み合わせたメモリリカレントユニット(MRU)を新たに導入する。 BMRUは長期依存型タスクにおいて良好な結果が得られ、状態空間モデルと組み合わせて並列化可能で過渡的ダイナミクスと永続メモリを備えたハイブリッドネットワークを構築することができることを示す。
  論文  参考訳（メタデータ） (2026-01-14T14:01:11Z)
• Scaling Recurrent Neural Networks to a Billion Parameters with Zero-Order Optimization [0.0]
  FLOPとGPUメモリにおけるRNNのスケール定数は、コンテキスト長が増加する。 変換器はFLOPで線形に、そしてせいぜい、生成中のメモリで線形にスケールする。 標準最適化手法は時間によるバックプロパゲーションに依存しているため、長い文脈での大規模RNNの訓練は実用的ではない。
  論文  参考訳（メタデータ） (2025-05-23T13:04:06Z)
• Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory [0.8321953606016751]
  本稿では,スパースRNNとスパイキングニューラルネットワークの一般クラスに適したメモリ効率の高い勾配チェックポイント戦略を提案する。 再計算のオーバーヘッドを最小限に抑えながら、ローカルメモリリソースの使用を最適化し、Double Checkpointingが最も効果的な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-12-16T14:23:31Z)
• Attention as an RNN [66.5420926480473]
  我々は,そのテキストマンディ・ツー・ワンのRNN出力を効率的に計算できる特別なリカレントニューラルネットワーク(RNN)として注目されることを示す。 本稿では,並列プレフィックススキャンアルゴリズムを用いて,注目のテキストマンディ・ツー・マニーRNN出力を効率よく計算する手法を提案する。 Aarensは、一般的な4つのシーケンシャルな問題設定に散らばる38ドルのデータセットで、Transformersに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-22T19:45:01Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Tensor train decompositions on recurrent networks [60.334946204107446]
  マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。 理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
  論文  参考訳（メタデータ） (2020-06-09T18:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。