論文の概要: Reinforced Decoder: Towards Training Recurrent Neural Networks for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2406.09643v1
• Date: Fri, 14 Jun 2024 00:24:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 17:05:01.864159
• Title: Reinforced Decoder: Towards Training Recurrent Neural Networks for Time Series Forecasting
• Title（参考訳）: 強化デコーダ:時系列予測のためのリカレントニューラルネットワークのトレーニングを目指して
• Authors: Qi Sima, Xinze Zhang, Yukun Bao, Siyue Yang, Liang Shen,
• Abstract要約: 繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルは、マルチステップの時系列予測に広く応用されている。 これらのモデルは通常、デコーダ入力として以前の予測または実際の観測値を使用して訓練されたデコーダを含む。 本研究は、代替デコーダ入力を生成する補助モデルを導入する強化デコーダと呼ばれる新しいトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 1.5213268724320657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural network-based sequence-to-sequence models have been extensively applied for multi-step-ahead time series forecasting. These models typically involve a decoder trained using either its previous forecasts or the actual observed values as the decoder inputs. However, relying on self-generated predictions can lead to the rapid accumulation of errors over multiple steps, while using the actual observations introduces exposure bias as these values are unavailable during the extrapolation stage. In this regard, this study proposes a novel training approach called reinforced decoder, which introduces auxiliary models to generate alternative decoder inputs that remain accessible when extrapolating. Additionally, a reinforcement learning algorithm is utilized to dynamically select the optimal inputs to improve accuracy. Comprehensive experiments demonstrate that our approach outperforms representative training methods over several datasets. Furthermore, the proposed approach also exhibits promising performance when generalized to self-attention-based sequence-to-sequence forecasting models.
• Abstract（参考訳）: 繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルは、マルチステップの時系列予測に広く応用されている。 これらのモデルは通常、デコーダ入力として以前の予測または実際の観測値を使用して訓練されたデコーダを含む。 しかし、自己生成予測に依存すると、複数のステップでエラーが急速に蓄積され、実際の観測では、外挿段階でこれらの値が利用できないため、露光バイアスが発生する。 そこで本研究では,外挿時に引き続きアクセス可能な代替デコーダ入力を生成するための補助モデルを導入する,強化デコーダと呼ばれる新しいトレーニング手法を提案する。 さらに、強化学習アルゴリズムを用いて最適な入力を動的に選択し、精度を向上させる。 包括的実験により、本手法は複数のデータセット上で代表訓練方法より優れていることが示された。 さらに,提案手法は,自己アテンションに基づくシーケンス・ツー・シーケンス予測モデルに一般化した場合に有望な性能を示す。

関連論文リスト

• Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders [56.47577824219207]
  本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。 ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。 我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-03-16T04:19:48Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Randomized Neural Networks for Forecasting Time Series with Multiple Seasonality [0.0]
  この研究は、新しいランダム化に基づく学習手法を用いたニューラル予測モデルの開発に寄与する。 時系列のパターンに基づく表現は、複数の季節の時系列を予測するのに有用である。
  論文  参考訳（メタデータ） (2021-07-04T18:39:27Z)
• Deep Probabilistic Time Series Forecasting using Augmented Recurrent Input for Dynamic Systems [12.319812075685956]
  我々は、深部生成モデルと状態空間モデル(SSM)の両方の進歩を組み合わせて、新しいデータ駆動の深部確率的シーケンスモデルを考え出す。 特に、リカレントニューラルネットワーク(RNN)を用いた変動配列モデルを構築するために、一般的なエンコーダデコーダ生成構造に従う。 トレーニングと予測の不整合を緩和するために,次のステップでハイブリッド出力を入力として使用することを提案する。
  論文  参考訳（メタデータ） (2021-06-03T23:41:11Z)
• Improved Predictive Deep Temporal Neural Networks with Trend Filtering [22.352437268596674]
  本稿では,ディープニューラルネットワークとトレンドフィルタリングに基づく新しい予測フレームワークを提案する。 我々は,学習データをトレンドフィルタリングによって時間的に処理した場合,深部時相ニューラルネットワークの予測性能が向上することを明らかにする。
  論文  参考訳（メタデータ） (2020-10-16T08:29:36Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)
• Video Prediction via Example Guidance [156.08546987158616]
  ビデオ予測タスクでは、将来のコンテンツとダイナミクスのマルチモーダルな性質を捉えることが大きな課題である。 本研究では,有効な将来状態の予測を効果的に行うための,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:57:24Z)
• Hierarchical Predictive Coding Models in a Deep-Learning Framework [1.370633147306388]
  予測符号化の最もよく知られたモデルをいくつかレビューする。 また、これらのモデルをディープラーニングフレームワークに組み込もうとする最近の試みについても調査する。
  論文  参考訳（メタデータ） (2020-05-07T03:39:57Z)
• Forecasting Sequential Data using Consistent Koopman Autoencoders [52.209416711500005]
  クープマン理論に関連する新しい物理学に基づく手法が導入された。 本稿では,既存の作業の多くと異なり,前方・後方のダイナミクスを生かした新しいコンシスタント・クープマン・オートエンコーダモデルを提案する。 このアプローチの鍵となるのは、一貫性のある力学と関連するクープマン作用素との相互作用を探索する新しい解析である。
  論文  参考訳（メタデータ） (2020-03-04T18:24:30Z)
• Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting [12.0855096102517]
  金融時系列予測のための表現学習フレームワークを提案する。 本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-02-18T15:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。