論文の概要: Mini-Batch Learning Strategies for modeling long term temporal
dependencies: A study in environmental applications
- arxiv url: http://arxiv.org/abs/2210.08347v1
- Date: Sat, 15 Oct 2022 17:44:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 16:48:40.432240
- Title: Mini-Batch Learning Strategies for modeling long term temporal
dependencies: A study in environmental applications
- Title（参考訳）: 長期時間依存のモデル化のためのミニバッチ学習戦略--環境応用に関する研究
- Authors: Shaoming Xu, Ankush Khandelwal, Xiang Li, Xiaowei Jia, Licheng Liu,
Jared Willard, Rahul Ghosh, Kelly Cutler, Michael Steinbach, Christopher
Duffy, John Nieber, Vipin Kumar
- Abstract要約: 環境応用において、リカレントニューラルネットワーク(RNN)は、長い時間的依存関係を持つ物理変数をモデル化するためにしばしば使用される。
ミニバッチトレーニングのため、バッチ内のトレーニングセグメント(イントラバッチ)とバッチ間の時間的関係は考慮されない。
本稿では,バッチ内とバッチ間の両方の時間依存性を強制する2つの戦略を提案する。
- 参考スコア（独自算出の注目度）: 20.979235183394994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many environmental applications, recurrent neural networks (RNNs) are
often used to model physical variables with long temporal dependencies.
However, due to mini-batch training, temporal relationships between training
segments within the batch (intra-batch) as well as between batches
(inter-batch) are not considered, which can lead to limited performance.
Stateful RNNs aim to address this issue by passing hidden states between
batches. Since Stateful RNNs ignore intra-batch temporal dependency, there
exists a trade-off between training stability and capturing temporal
dependency. In this paper, we provide a quantitative comparison of different
Stateful RNN modeling strategies, and propose two strategies to enforce both
intra- and inter-batch temporal dependency. First, we extend Stateful RNNs by
defining a batch as a temporally ordered set of training segments, which
enables intra-batch sharing of temporal information. While this approach
significantly improves the performance, it leads to much larger training times
due to highly sequential training. To address this issue, we further propose a
new strategy which augments a training segment with an initial value of the
target variable from the timestep right before the starting of the training
segment. In other words, we provide an initial value of the target variable as
additional input so that the network can focus on learning changes relative to
that initial value. By using this strategy, samples can be passed in any order
(mini-batch training) which significantly reduces the training time while
maintaining the performance. In demonstrating our approach in hydrological
modeling, we observe that the most significant gains in predictive accuracy
occur when these methods are applied to state variables whose values change
more slowly, such as soil water and snowpack, rather than continuously moving
flux variables such as streamflow.
- Abstract（参考訳）: 多くの環境応用において、リカレントニューラルネットワーク(RNN)は、長い時間的依存関係を持つ物理変数をモデル化するためにしばしば使用される。
しかし、ミニバッチトレーニングのため、バッチ内のトレーニングセグメント(イントラバッチ)とバッチ間の時間的関係は考慮されていないため、パフォーマンスが制限される可能性がある。
Stateful RNNは、バッチ間で隠れた状態を渡すことでこの問題に対処することを目指している。
Stateful RNNはバッチ内の時間依存性を無視しているため、トレーニングの安定性と時間依存性のキャプチャとの間にトレードオフが存在する。
本稿では、異なるステートフルRNNモデリング戦略の定量的比較を行い、バッチ内およびバッチ間両方の時間依存性を強制する2つの戦略を提案する。
まず、バッチを時間順のトレーニングセグメントのセットとして定義し、時間情報のバッチ内共有を可能にすることによって、ステートフルRNNを拡張します。
このアプローチはパフォーマンスを大幅に改善するが、高度にシーケンシャルなトレーニングによって、トレーニング時間が大幅に短縮される。
この問題に対処するため,我々は,トレーニングセグメントの開始直前の時間ステップから目標変数の初期値でトレーニングセグメントを増強する新しい戦略を提案する。
言い換えると、ターゲット変数の初期値を追加入力として提供し、ネットワークはその初期値に対する学習変化に集中できるようにします。
この戦略を使用することで、サンプルを任意の順序(ミニバッチトレーニング)で渡すことができ、パフォーマンスを維持しながらトレーニング時間を著しく短縮できる。
水文モデルにおける我々のアプローチの実証では, 流水流などのフラックス変数を連続的に移動するのではなく, 土壌水や積雪など, 値が変化の遅い状態変数に適用した場合に, 予測精度の最も大きな向上が観察される。
関連論文リスト
- Simulation-Free Training of Neural ODEs on Paired Data [20.36333430055869]
我々は,NODEのシミュレーションフリートレーニングにフローマッチングフレームワークを用いる。
ペアデータ間で直接フローマッチングを適用することは、しばしば不定義のフローにつながることを示す。
データペアの埋め込み空間にフローマッチングを適用するための簡単な拡張を提案する。
論文 参考訳（メタデータ） (2024-10-30T11:18:27Z) - Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。
このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。
得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文 参考訳（メタデータ） (2024-10-28T13:48:43Z) - PRES: Toward Scalable Memory-Based Dynamic Graph Neural Networks [22.47336262812308]
メモリベースの動的グラフニューラルネットワーク(MDGNN)は、動的グラフニューラルネットワークのファミリーであり、メモリモジュールを利用して、長期の時間的依存関係を抽出、抽出、抽出する。
本稿では,時間的バッチサイズが大きいMDGNNの訓練における時間的不連続性に着目し,大規模MDGNNの効率的な訓練について検討する。
論文 参考訳（メタデータ） (2024-02-06T01:34:56Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳（メタデータ） (2023-11-02T16:45:25Z) - Message Propagation Through Time: An Algorithm for Sequence Dependency
Retention in Time Series Modeling [14.49997340857179]
本稿では,時系列モデリングのためのMPTT(Message Propagation Through Time)アルゴリズムを提案する。
MPTTは、ステートフルなソリューションと比較して、より高速なトレーニング時間を保ちながら、長時間の時間的依存を取り入れている。
実験の結果,MPTTは4つの気候データセットにおいて7つの戦略より優れていた。
論文 参考訳（メタデータ） (2023-09-28T22:38:18Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳（メタデータ） (2022-07-06T13:06:31Z) - EGRU: Event-based GRU for activity-sparse inference and learning [0.8260432715157026]
本稿では,GRU(Gated Recurrent Units)をイベントベースアクティビティスパースモデルとして再構成するモデルを提案する。
イベントベースGRU(EGRU)は,実世界のタスクにおける最先端のリカレントネットワークモデルと比較して,競合性能を示す。
論文 参考訳（メタデータ） (2022-06-13T14:07:56Z) - Existence and Estimation of Critical Batch Size for Training Generative
Adversarial Networks with Two Time-Scale Update Rule [0.2741266294612775]
これまで、異なる学習率を用いた2つの時間スケール更新ルール(TTUR)が、理論および実際におけるGAN(Generative Adversarial Network)のトレーニングに有用であることが示されてきた。
本稿では,一定の学習率に基づいて,バッチサイズとGANをTTURで訓練するために必要なステップ数との関係について検討する。
論文 参考訳（メタデータ） (2022-01-28T08:52:01Z) - What training reveals about neural network complexity [80.87515604428346]
この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。
我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
論文 参考訳（メタデータ） (2021-06-08T08:58:00Z) - Connecting the Dots: Multivariate Time Series Forecasting with Graph
Neural Networks [91.65637773358347]
多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。
グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。
提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
論文 参考訳（メタデータ） (2020-05-24T04:02:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。