論文の概要: Tuning the burn-in phase in training recurrent neural networks improves their performance

• arxiv url: http://arxiv.org/abs/2602.10911v1
• Date: Wed, 11 Feb 2026 14:48:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:02.015028
• Title: Tuning the burn-in phase in training recurrent neural networks improves their performance
• Title（参考訳）: リカレントニューラルネットワークのトレーニングにおけるバーンインフェーズのチューニングによるパフォーマンス向上
• Authors: Julian D. Schiller, Malte Heinrich, Victor G. Lopez, Matthias A. Müller,
• Abstract要約: 時間による標準バックプロパゲーション(BPTT)によるリカレントニューラルネットワーク(RNN)のトレーニングは困難である。 時系列タスクにおいて,このような学習手法を用いる場合のRNNの訓練について検討する。
• 参考スコア（独自算出の注目度）: 0.727473060351422
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training recurrent neural networks (RNNs) with standard backpropagation through time (BPTT) can be challenging, especially in the presence of long input sequences. A practical alternative to reduce computational and memory overhead is to perform BPTT repeatedly over shorter segments of the training data set, corresponding to truncated BPTT. In this paper, we examine the training of RNNs when using such a truncated learning approach for time series tasks. Specifically, we establish theoretical bounds on the accuracy and performance loss when optimizing over subsequences instead of the full data sequence. This reveals that the burn-in phase of the RNN is an important tuning knob in its training, with significant impact on the performance guarantees. We validate our theoretical results through experiments on standard benchmarks from the fields of system identification and time series forecasting. In all experiments, we observe a strong influence of the burn-in phase on the training process, and proper tuning can lead to a reduction of the prediction error on the training and test data of more than 60% in some cases.
• Abstract（参考訳）: 時間による標準バックプロパゲーション(BPTT)を備えたリカレントニューラルネットワーク(RNN)のトレーニングは、特に長い入力シーケンスの存在下では困難である。 計算とメモリのオーバーヘッドを減らすための実用的な方法として、BPTT をトラッピングした BPTT に対応するトレーニングデータセットの短いセグメントで繰り返し実行する方法がある。 本稿では,時系列タスクにそのような切り詰められた学習手法を用いる場合のRNNの訓練について検討する。 具体的には、全データ列の代わりにサブシーケンスを最適化する場合の精度と性能損失に関する理論的境界を確立する。 これは、RNNのバーンインフェーズがトレーニングにおいて重要なチューニングノブであり、パフォーマンス保証に大きな影響を与えていることを示している。 我々は,システム同定と時系列予測の分野から標準ベンチマークの実験を通じて理論的結果を検証する。 いずれの実験においても,バーンインフェーズがトレーニングプロセスに与える影響が強く,適切なチューニングによってトレーニングおよびテストデータに対する予測誤差が60%以上減少する可能性がある。

関連論文リスト

• Understanding the Role of Training Data in Test-Time Scaling [56.12341509545198]
  線形回帰のための文脈内重み予測タスクを訓練した変圧器の試験時間スケーリング性能について検討した。 多様な、関連性があり、難しいタスクセットでのトレーニングが、テスト時間のスケーリングに最高のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2025-10-04T01:38:48Z)
• YOSO: You-Only-Sample-Once via Compressed Sensing for Graph Neural Network Training [9.02251811867533]
  YOSO(You-Only-Sample-Once)は、予測精度を維持しながら効率的なトレーニングを実現するアルゴリズムである。 YOSOは、正規直交基底計算のような従来の圧縮センシング(CS)法で高価な計算を避けるだけでなく、高い確率精度の保持も保証している。
  論文  参考訳（メタデータ） (2024-11-08T16:47:51Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Learning from Predictions: Fusing Training and Autoregressive Inference for Long-Term Spatiotemporal Forecasts [4.068387278512612]
  本稿では,複雑なシステムを予測するためのスケジューリング自動回帰BPTT (Schduled Autoregressive BPTT) アルゴリズムを提案する。 その結果,BPTT-SAは畳み込みRNNと畳み込みオートエンコーダRNNの反復的誤り伝播を効果的に抑制できることがわかった。
  論文  参考訳（メタデータ） (2023-02-22T02:46:54Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Efficient Training of Spiking Neural Networks with Temporally-Truncated Local Backpropagation through Time [1.926678651590519]
  訓練用スパイクニューラルネットワーク(SNN)は、複雑な神経力学と発火機能における本質的な非微分性のため、依然として困難である。 本研究では,局所教師付きトレーニング手法と時間的制約付きBPTTアルゴリズムを統合したSNNの効率的かつ直接的なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T07:44:58Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• Effect of Architectures and Training Methods on the Performance of Learned Video Frame Prediction [10.404162481860634]
  実験結果から,残差FCNNアーキテクチャは高いトレーニングとテスト(推論)計算の複雑さを犠牲にして,ピーク信号対雑音比(PSNR)の点で最善であることがわかった。 CRNNは、時間的手続きを通じて、ステートフルなトランケートされたバックプロパゲーションを使用して、安定かつ非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2020-08-13T20:45:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。