論文の概要: MQTransformer: Multi-Horizon Forecasts with Context Dependent and
Feedback-Aware Attention
- arxiv url: http://arxiv.org/abs/2009.14799v4
- Date: Thu, 27 Jan 2022 03:02:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 22:53:02.901617
- Title: MQTransformer: Multi-Horizon Forecasts with Context Dependent and
Feedback-Aware Attention
- Title（参考訳）: mqtransformer: コンテキスト依存とフィードバック対応によるマルチホライゾン予測
- Authors: Carson Eisenach and Yagna Patel and Dhruv Madeka
- Abstract要約: 我々はコンテキストアライメントのための新しいデコーダ・エンコーダアテンションを開発し、予測精度を向上させる。
また、ニューラルネットワークがコンテキスト依存機能と任意の休日の季節性を学ぶことができるような、新しい位置符号化も提案する。
本稿では, MQ-Forecasterモデルの現状が, 予測における過去の誤差を活用できず, 精度を向上させることで, 過度な変動を示すことを示す。
- 参考スコア（独自算出の注目度）: 1.8692254863855964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in neural forecasting have produced major improvements in
accuracy for probabilistic demand prediction. In this work, we propose novel
improvements to the current state of the art by incorporating changes inspired
by recent advances in Transformer architectures for Natural Language
Processing. We develop a novel decoder-encoder attention for context-alignment,
improving forecasting accuracy by allowing the network to study its own history
based on the context for which it is producing a forecast. We also present a
novel positional encoding that allows the neural network to learn
context-dependent seasonality functions as well as arbitrary holiday distances.
Finally we show that the current state of the art MQ-Forecaster (Wen et al.,
2017) models display excess variability by failing to leverage previous errors
in the forecast to improve accuracy. We propose a novel decoder-self attention
scheme for forecasting that produces significant improvements in the excess
variation of the forecast.
- Abstract（参考訳）: ニューラル予測の最近の進歩は、確率的需要予測の精度を大幅に向上させた。
本稿では,自然言語処理におけるトランスフォーマーアーキテクチャの最近の進歩に触発された変化を取り入れて,現状の新たな改良を提案する。
我々は,ネットワークが予測を生成するコンテキストに基づいて,独自の履歴を学習できるようにすることで,予測精度を向上させるとともに,コンテキストアライメントのための新しいデコーダエンコーダアテンションを開発する。
また,ニューラルネットワークが任意のホリデー距離だけでなく,文脈依存の季節性関数を学習できる新しい位置符号化法を提案する。
最後に, MQ-Forecaster (Wen et al., 2017) モデルの現状が, 予測における過去のエラーを利用して精度を向上させることができず, 過度な変動を示すことを示す。
本稿では,予測の過大な変動を著しく改善する,予測のための新しいデコーダ自己注意スキームを提案する。
関連論文リスト
- Future-Guided Learning: A Predictive Approach To Enhance Time-Series Forecasting [4.866362841501992]
本稿では、時系列イベント予測を強化するアプローチであるFuture-Guided Learningを紹介する。
提案手法は,重要な事象を特定するために将来的なデータを解析する検出モデルと,これらの事象を現在のデータに基づいて予測する予測モデルである。
予測モデルと検出モデルの間に不一致が発生した場合、予測モデルはより実質的な更新を行う。
論文 参考訳（メタデータ） (2024-10-19T21:22:55Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳（メタデータ） (2023-11-30T08:22:08Z) - NeuroCounterfactuals: Beyond Minimal-Edit Counterfactuals for Richer
Data Augmentation [55.17069935305069]
本稿では,緩やかな反ファクトとして設計されたNeuroCounterfactualsを紹介する。
我々の新しい生成的アプローチは、言語モデル適応による感情制御による制約付き復号化の利点を橋渡しする。
論文 参考訳（メタデータ） (2022-10-22T06:29:21Z) - PromptCast: A New Prompt-based Learning Paradigm for Time Series
Forecasting [11.670324826998968]
既存の時系列予測手法では,数値列を入力とし,数値列を出力とする。
事前学習された言語基盤モデルの成功に触発されて、我々は新しい予測パラダイム、即時時系列予測を提案する。
この新たなタスクでは、数値入力と出力をプロンプトに変換し、予測タスクを文対文でフレーム化する。
論文 参考訳（メタデータ） (2022-09-20T10:15:35Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting [17.53378788483556]
長期的な予測に苦しむ2つの一般的な課題は、予測のボラティリティとその計算複雑性である。
N-HiTSは,新しい階層型データサンプリング手法とマルチレートデータサンプリング手法を導入することで,両課題に対処するモデルである。
我々は,N-HiTSの最先端長軸予測法に対する利点を実証的に評価する。
論文 参考訳（メタデータ） (2022-01-30T17:52:19Z) - TranSalNet: Visual saliency prediction using transformers [14.167725343400738]
そこで本稿では,CNNにトランスフォーマーコンポーネントを組み込んで,長距離コンテキスト情報をキャプチャする新たなサリエンシモデルを提案する。
実験結果から,新しいコンポーネントが改良され,提案モデルがサリエンシを予測する上で有望な結果が得られることがわかった。
論文 参考訳（メタデータ） (2021-10-07T16:17:38Z) - Tsformer: Time series Transformer for tourism demand forecasting [1.0883306593668278]
本稿では,観光需要予測のためのTransformer-Decoderアーキテクチャを用いた時系列トランスフォーマー(Tsformer)を提案する。
提案したTsformerは,エンコーダによる長期依存性をエンコードし,デコーダによる短期依存性をキャプチャし,アテンションインタラクションを簡略化する。
ジズハイゴウ渓谷とシグニャング山地の観光需要データセットと他の9つのベースライン手法による実験は、提案されたTsformerが全てのベースラインモデルを上回ったことを示している。
論文 参考訳（メタデータ） (2021-07-22T06:33:20Z) - Predicting Deep Neural Network Generalization with Perturbation Response
Curves [58.8755389068888]
トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。
具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。
PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
論文 参考訳（メタデータ） (2021-06-09T01:37:36Z) - Back2Future: Leveraging Backfill Dynamics for Improving Real-time
Predictions in Future [73.03458424369657]
公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。
過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。
我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
論文 参考訳（メタデータ） (2021-06-08T14:48:20Z) - Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。
我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。
質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
論文 参考訳（メタデータ） (2020-10-07T21:02:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。