論文の概要: Bridging the Gap Between Training and Inference for Spatio-Temporal Forecasting

• arxiv url: http://arxiv.org/abs/2005.09343v1
• Date: Tue, 19 May 2020 10:14:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 13:05:24.313537
• Title: Bridging the Gap Between Training and Inference for Spatio-Temporal Forecasting
• Title（参考訳）: 時空間予測におけるトレーニングと推論のギャップの橋渡し
• Authors: Hong-Bin Liu, Ickjai Lee
• Abstract要約: 本稿では,S-temporal sequence forecastingのトレーニングと推論のギャップを埋めるために,時間的プログレッシブ・グロース・サンプリングというカリキュラムベースの新しい戦略を提案する。 実験結果から,提案手法は長期依存をモデル化し,2つの競合データセットに対するベースラインアプローチより優れていることが示された。
• 参考スコア（独自算出の注目度）: 16.06369357595426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatio-temporal sequence forecasting is one of the fundamental tasks in spatio-temporal data mining. It facilitates many real world applications such as precipitation nowcasting, citywide crowd flow prediction and air pollution forecasting. Recently, a few Seq2Seq based approaches have been proposed, but one of the drawbacks of Seq2Seq models is that, small errors can accumulate quickly along the generated sequence at the inference stage due to the different distributions of training and inference phase. That is because Seq2Seq models minimise single step errors only during training, however the entire sequence has to be generated during the inference phase which generates a discrepancy between training and inference. In this work, we propose a novel curriculum learning based strategy named Temporal Progressive Growing Sampling to effectively bridge the gap between training and inference for spatio-temporal sequence forecasting, by transforming the training process from a fully-supervised manner which utilises all available previous ground-truth values to a less-supervised manner which replaces some of the ground-truth context with generated predictions. To do that we sample the target sequence from midway outputs from intermediate models trained with bigger timescales through a carefully designed decaying strategy. Experimental results demonstrate that our proposed method better models long term dependencies and outperforms baseline approaches on two competitive datasets.
• Abstract（参考訳）: 時空間系列予測は時空間データマイニングにおける基本的なタスクの一つである。 降水量予測、都市全体の群衆流量予測、大気汚染予測など、現実世界の多くの応用を促進する。 近年、Seq2Seqベースのアプローチがいくつか提案されているが、Seq2Seqモデルの欠点の1つは、トレーニングと推論フェーズの異なる分布により、推論段階で生成されたシーケンスに沿って小さなエラーが迅速に蓄積できることである。 これは、seq2seqモデルがトレーニング中にのみ1ステップのエラーを最小化するためであるが、トレーニングと推論の相違を発生させる推論フェーズ中にシーケンス全体を生成する必要があるためである。 そこで本研究では, 時空間系列予測のためのトレーニングと推論のギャップを, 学習過程を全教師ありから非教師ありに変換し, 教師なしの手法に置き換えることで, 時空間系列予測のトレーニングと推論のギャップを効果的に橋渡しする, 時空間進行サンプリングという新しいカリキュラム学習戦略を提案する。 そこで我々は、より大規模な時間スケールで訓練された中間モデルの中間出力から、慎重に設計された減衰戦略を用いて目標シーケンスをサンプリングする。 実験結果から,提案手法は長期依存をモデル化し,2つの競合データセットに対するベースラインアプローチより優れていることが示された。

関連論文リスト

• Loss Shaping Constraints for Long-Term Time Series Forecasting [79.3533114027664]
  本稿では,長期時系列予測のための制約付き学習手法を提案する。 提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:20:44Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Can Diffusion Model Achieve Better Performance in Text Generation? Bridging the Gap between Training and Inference! [14.979893207094221]
  拡散モデルは、離散テキストを連続空間にマッピングすることで、テキスト生成タスクにうまく適応している。 トレーニングと推論の間には、推論中に前処理が欠如しているため、無視できないギャップがある。 本稿では、上記のギャップを埋める単純な方法として、Distance Penalty と Adaptive Decay Sampling を提案する。
  論文  参考訳（メタデータ） (2023-05-08T05:32:22Z)
• Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment [72.50906475214457]
  シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。 実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。 文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T07:54:13Z)
• Flipped Classroom: Effective Teaching for Time Series Forecasting [0.0]
  LSTMとGRUに基づくシーケンス・ツー・シーケンス・モデルは時系列データの予測において最も一般的な選択肢である。 この文脈における2つの一般的なトレーニング戦略は、教師強制(TF)とフリーランニング(FR)である。 いくつかの新しいカリキュラムを提案し、その性能を2つの実験セットで体系的に評価する。
  論文  参考訳（メタデータ） (2022-10-17T11:53:25Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Meta-Forecasting by combining Global DeepRepresentations with Local Adaptation [12.747008878068314]
  メタグローバルローカル自動回帰(Meta-GLAR)と呼ばれる新しい予測手法を導入する。 それは、リカレントニューラルネットワーク(RNN)によって生成された表現からワンステップアヘッド予測へのマッピングをクローズドフォームで学習することで、各時系列に適応する。 本手法は,先行研究で報告されたサンプル外予測精度において,最先端の手法と競合する。
  論文  参考訳（メタデータ） (2021-11-05T11:45:02Z)
• Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
  本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。 我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。 実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
  論文  参考訳（メタデータ） (2021-05-25T14:35:46Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)
• A machine learning approach for forecasting hierarchical time series [4.157415305926584]
  階層時系列を予測するための機械学習手法を提案する。 予測整合は予測を調整し、階層をまたいで一貫性を持たせるプロセスである。 我々は、階層構造をキャプチャする情報を抽出するディープニューラルネットワークの能力を利用する。
  論文  参考訳（メタデータ） (2020-05-31T22:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。