論文の概要: Gate Initialisation versus Recurrent Dropout and Zoneout in Learning Long Dependencies: A Controlled Study of LSTM and GRU Networks on Synthetic Tasks

• arxiv url: http://arxiv.org/abs/2610.29034v1
• Date: Wed, 21 Oct 2026 01:06:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.16999
• Title: Gate Initialisation versus Recurrent Dropout and Zoneout in Learning Long Dependencies: A Controlled Study of LSTM and GRU Networks on Synthetic Tasks
• Title（参考訳）: 長期依存学習におけるゲート初期化と繰り返しドロップアウトとゾーンアウト:合成課題におけるLSTMとGRUネットワークの制御的研究
• Abstract要約: ドロップアウトとゾーンアウトは、長い短期メモリ(LSTM)とゲートリカレントユニット(GRU)ネットワークに定期的に追加される。 早期の勾配伝搬がどのランが長い依存関係を学習するかは分かっていない。 その結果, 1層LSTMとGRUを加算問題, 遅延リコールで720ランで学習した。
• 参考スコア（独自算出の注目度）: 27.679705812337573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dropout and zoneout are routinely added to long short-term memory (LSTM) and gated recurrent unit (GRU) networks, but, to our knowledge, their placements have not been crossed with gate initialisation in a factorial design, and it is not known whether early gradient propagation tells which runs will learn long dependencies. We trained one-layer LSTMs and GRUs on the adding problem and on delayed recall in a factorial grid of 720 runs, crossing conventional and chrono gate initialisation with up to six recurrent regulariser placements at one rate each, with pre-specified follow-ups, and recorded how sensitive the final hidden state was to the input at every lag. Because both tasks supply fresh or exhaustive training data, the study measures the regularisers' effects on optimisation and does not assess generalisation from a finite training set. At lengths chosen to make conventional initialisation difficult, all 360 chrono-initialised runs reached the validation criterion within 5000 updates, as did 119 of 120 unregularised runs with a horizon about four times too short or too long, whereas conventionally initialised networks learned slowly or did not reach the criterion within the budget at the longer lengths. Under conventional initialisation, dropout generally delayed learning and zoneout helped only in some conditions. The early input sensitivity added little to predicting which conditions learn once the early validation loss was modelled per task, architecture and initialisation. Within conditions, a flatter early decay went with the seeds that learned, but in a pre-specified test the association was modest (concordance 0.61), condition-dependent and not robust to resampling seeds. The results support chrono initialisation, even with a rough horizon, on such tasks.
• Abstract（参考訳）: 長い短期記憶(LSTM)とゲートリカレントユニット(GRU)ネットワークにドロップアウトとゾーンアウトが定期的に追加されるが、我々の知識では、これらの配置は要素設計においてゲート初期化と交差せず、早期の勾配伝搬がどのランが長い依存を学習するかは分かっていない。 1層LSTMとGRUを加算問題および720ランの因子グリッドでの遅延リコールで訓練し, 従来およびクロノゲートの初期化を最大6回, それぞれ1回, 所定のフォローアップを行い, 最終隠れ状態が各ラグの入力にどれほど敏感であるかを記録した。 両タスクとも、新鮮なトレーニングデータや徹底的なトレーニングデータを提供するため、この研究は、正規兵の最適化に対する効果を測定し、有限のトレーニングセットから一般化を評価することはない。 従来の初期化を困難にするために選択された長さでは、全360クロノ初期化実行は5000回の更新で検証基準に達した。 従来の初期化では、ドロップアウトは一般的に学習とゾーンアウトが遅れており、いくつかの条件でしか役に立たない。 初期入力感度は、タスク、アーキテクチャ、初期化毎に早期検証損失がモデル化されると、どの条件が学習されるかを予測することはほとんどなかった。 条件下では、より平坦な早期崩壊は、学習した種子とともに行われたが、事前に特定された試験では、結合は穏やかで、条件に依存しており、種子を再サンプリングする堅牢ではない。 結果は、このようなタスクにおいて、粗い地平線であっても、クロノの初期化をサポートする。

関連論文リスト

• Robustness Verification of Recurrent Neural Networks with Abstraction Refinement [0.0]
  本稿では,この区間を分割して支配的緩和誤差を除去するRNN検証のための抽象化・リファインメントフレームワークを提案する。 CIFAR10とMNISTストロークベンチマークの実験では、抽象のみのベースラインよりも検証成功と堅牢性に一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-06-10T11:30:37Z)
• The Phase Is the Gradient: Equilibrium Propagation for Frequency Learning in Kuramoto Networks [0.0]
  安定平衡の内蔵本発振器ネットワークにおいて、弱い出力ヌーディングの下での物理位相変位は、自然周波数に対する損失の勾配であることを示す。 疎層構造において、周波数学習は収束種子間の結合重み付け学習よりも優れることを示す。
  論文  参考訳（メタデータ） (2026-04-11T16:28:27Z)
• Time-Series Anomaly Classification for Launch Vehicle Propulsion Systems: Fast Statistical Detectors Enhancing LSTM Accuracy and Data Quality [0.0]
  本稿では,マハラノビス距離と前方後方検出率に基づいて,教師付きトレーニングラベルの調整を行う新しい統計検出器を提案する。 実験1回あたり20.8分間の運転時間とO(108)の訓練時間を有する地上段推進システムのディジタルツインシミュレーションについて実験を行った。
  論文  参考訳（メタデータ） (2026-01-07T23:43:27Z)
• Hierarchical temporal receptive windows and zero-shot timescale generalization in biologically constrained scale-invariant deep networks [1.2031796234206136]
  我々は、スケール不変の海馬時間細胞に基づいて、生物学的に制約された深層ネットワークを訓練する。 ネットワークは層内に同じ時間定数のスペクトルを持つにもかかわらず、TRWの階層構造が自然に層全体に出現することを発見した。 次に、これらの誘導前駆体を生物学的に妥当な再帰的アーキテクチャであるSITH-RNNに蒸留した。
  論文  参考訳（メタデータ） (2026-01-06T00:36:45Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Neural Laplace Control for Continuous-time Delayed Systems [76.81202657759222]
  本稿では,ニューラルラプラス力学モデルとモデル予測制御(MPC)プランナを組み合わせた連続時間モデルに基づくオフラインRL法を提案する。 専門家の政策性能に近い連続的な遅延環境を実験的に示す。
  論文  参考訳（メタデータ） (2023-02-24T12:40:28Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)
• SiTGRU: Single-Tunnelled Gated Recurrent Unit for Abnormality Detection [29.500392184282518]
  異常検出のための単一トンネルGRU(Single Tunnelled GRU)と呼ばれるGRU(Gated Recurrent Unit)の新規バージョンを提案する。 提案手法は,標準GRUとLong Short Term Memory(LSTM)ネットワークを,検出および一般化タスクのほとんどの指標で上回っている。
  論文  参考訳（メタデータ） (2020-03-30T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。