論文の概要: Multi-Task Time Series Forecasting With Shared Attention

• arxiv url: http://arxiv.org/abs/2101.09645v1
• Date: Sun, 24 Jan 2021 04:25:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 09:17:49.171376
• Title: Multi-Task Time Series Forecasting With Shared Attention
• Title（参考訳）: 共有注意によるマルチタスク時系列予測
• Authors: Zekai Chen, Jiaze E, Xiao Zhang, Hao Sheng, Xiuzheng Cheng
• Abstract要約: マルチタスク時系列予測のための2つの自己注目型共有方式を提案する。 提案アーキテクチャは,最先端の単一タスク予測ベースラインを上回るだけでなく,RNNベースのマルチタスク予測手法よりも優れている。
• 参考スコア（独自算出の注目度）: 15.294939035413217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series forecasting is a key component in many industrial and business decision processes and recurrent neural network (RNN) based models have achieved impressive progress on various time series forecasting tasks. However, most of the existing methods focus on single-task forecasting problems by learning separately based on limited supervised objectives, which often suffer from insufficient training instances. As the Transformer architecture and other attention-based models have demonstrated its great capability of capturing long term dependency, we propose two self-attention based sharing schemes for multi-task time series forecasting which can train jointly across multiple tasks. We augment a sequence of paralleled Transformer encoders with an external public multi-head attention function, which is updated by all data of all tasks. Experiments on a number of real-world multi-task time series forecasting tasks show that our proposed architectures can not only outperform the state-of-the-art single-task forecasting baselines but also outperform the RNN-based multi-task forecasting method.
• Abstract（参考訳）: 時系列予測は多くの産業的およびビジネス的意思決定プロセスにおいて重要な要素であり、リカレントニューラルネットワーク(RNN)ベースのモデルは、様々な時系列予測タスクにおいて驚くべき進歩を遂げている。 しかし、既存の手法のほとんどは、制限された教師付き目標に基づいて個別に学習することで、シングルタスクの予測問題に焦点を当てている。 トランスフォーマーアーキテクチャや他の注目モデルが長期依存を捕捉する優れた能力を示したことから,マルチタスク時系列予測のための2つの自己注意型共有スキームを提案する。 並列化されたトランスフォーマーエンコーダのシーケンスを外部のマルチヘッドアテンション関数で拡張し,全タスクのデータによって更新する。 複数の実世界のマルチタスク時系列予測タスクの実験から,提案したアーキテクチャは最先端の単一タスク予測ベースラインを上回るだけでなく,RNNベースのマルチタスク予測手法よりも優れていることが示された。

関連論文リスト

• Get Rid of Task Isolation: A Continuous Multi-task Spatio-Temporal Learning Framework [10.33844348594636]
  我々は,都市の総合的知能を高めるために,連続マルチタスク時空間学習フレームワーク(CMuST)を提案することが不可欠であると主張する。 CMuSTは、都市時間学習を単一ドメインから協調マルチタスク学習に改革する。 マルチタスク時間学習のための3つの都市のベンチマークを作成し,CMuSTの優位性を実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-14T14:04:36Z)
• Beyond Forecasting: Compositional Time Series Reasoning for End-to-End Task Execution [19.64976935450366]
  時系列データから複雑な多段階推論タスクを処理する新しいタスクであるコンポジション時系列推論を導入する。 具体的には、時系列データに構造的および構成的推論能力を必要とする様々な質問事例に焦点を当てる。 我々は,大規模言語モデル(LLM)を用いて複雑なタスクをプログラムのステップに分解するプログラム支援手法であるTS-Reasonerを開発した。
  論文  参考訳（メタデータ） (2024-10-05T06:04:19Z)
• Inter-Series Transformer: Attending to Products in Time Series Forecasting [5.459207333107234]
  我々は,共有マルチタスク毎の時系列ネットワークを用いたトランスフォーマーに基づく新しい予測手法を開発した。 医療機器製造会社における需要予測の改善に本手法を適用したケーススタディを提案する。
  論文  参考訳（メタデータ） (2024-08-07T16:22:21Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• Feature Programming for Multivariate Time Series Prediction [7.0220697993232]
  本稿では,時系列モデリングのためのプログラム可能な機能工学の概念を紹介する。 本稿では,ノイズの多い時系列に対して大量の予測機能を生成する機能プログラミングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-09T20:46:55Z)
• An End-to-End Time Series Model for Simultaneous Imputation and Forecast [14.756607742477252]
  我々は,推論関係を学習し,複数段階の予測を行うために,エンドツーエンドの時系列モデルを開発する。 我々のフレームワークは2つのニューラルネットワークを共同でトレーニングし、1つは特徴量相関を学習し、もう1つは時間的行動のモデリングを学習する。
  論文  参考訳（メタデータ） (2023-06-01T15:08:22Z)
• MulT: An End-to-End Multitask Learning Transformer [66.52419626048115]
  我々はMulTと呼ばれるエンドツーエンドのマルチタスク学習トランスフォーマフレームワークを提案し、複数のハイレベル視覚タスクを同時に学習する。 本フレームワークは,入力画像を共有表現にエンコードし,タスク固有のトランスフォーマーベースのデコーダヘッドを用いて各視覚タスクの予測を行う。
  論文  参考訳（メタデータ） (2022-05-17T13:03:18Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Temporally Correlated Task Scheduling for Sequence Learning [143.70523777803723]
  多くのアプリケーションにおいて、シーケンス学習タスクは通常、複数の時間的に相関した補助タスクと関連付けられている。 シーケンス学習に学習可能なスケジューラを導入し、トレーニングのための補助的なタスクを適応的に選択できる。 本手法は,同時翻訳とストックトレンド予測の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-07-10T10:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。