論文の概要: MQRetNN: Multi-Horizon Time Series Forecasting with Retrieval
Augmentation
- arxiv url: http://arxiv.org/abs/2207.10517v1
- Date: Thu, 21 Jul 2022 14:51:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-22 12:26:29.556456
- Title: MQRetNN: Multi-Horizon Time Series Forecasting with Retrieval
Augmentation
- Title(参考訳): MQRetNN: 検索拡張によるマルチ水平時系列予測
- Authors: Sitan Yang and Carson Eisenach and Dhruv Madeka
- Abstract要約: マルチホライゾン確率的時系列予測は、需要予測のような現実世界のタスクに広く適用可能である。
ニューラルネットワークの時系列予測における最近の研究は、主にSeq2Seqアーキテクチャの使用に焦点を当てている。
本稿では,クロスエンタリティ情報を導入してモデル性能を向上させることを目的として,クロスエンタリティアテンション機構と,どのエンティティを参加させるかを選択する検索機構を提案する。
- 参考スコア(独自算出の注目度): 1.8692254863855964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-horizon probabilistic time series forecasting has wide applicability to
real-world tasks such as demand forecasting. Recent work in neural time-series
forecasting mainly focus on the use of Seq2Seq architectures. For example,
MQTransformer - an improvement of MQCNN - has shown the state-of-the-art
performance in probabilistic demand forecasting. In this paper, we consider
incorporating cross-entity information to enhance model performance by adding a
cross-entity attention mechanism along with a retrieval mechanism to select
which entities to attend over. We demonstrate how our new neural architecture,
MQRetNN, leverages the encoded contexts from a pretrained baseline model on the
entire population to improve forecasting accuracy. Using MQCNN as the baseline
model (due to computational constraints, we do not use MQTransformer), we first
show on a small demand forecasting dataset that it is possible to achieve ~3%
improvement in test loss by adding a cross-entity attention mechanism where
each entity attends to all others in the population. We then evaluate the model
with our proposed retrieval methods - as a means of approximating an attention
over a large population - on a large-scale demand forecasting application with
over 2 million products and observe ~1% performance gain over the MQCNN
baseline.
- Abstract(参考訳): マルチホライゾン確率時系列予測は需要予測のような実世界のタスクに適用できる。
ニューラル時系列予測における最近の研究は、主にseq2seqアーキテクチャの使用に焦点を当てている。
例えば、MQTransformer - MQCNNの改良 - は、確率的需要予測における最先端のパフォーマンスを示している。
本稿では,クロスエンティティ・アテンション機構を付加し,どのエンティティに出席すべきかを検索する検索機構を付加することで,モデル性能を向上させるためにクロスエンティティ情報を導入することを検討する。
我々は、新しいニューラルアーキテクチャであるMQRetNNが、人口全体の事前訓練されたベースラインモデルから符号化されたコンテキストをどのように活用し、予測精度を向上するかを実証する。
MQCNNをベースラインモデルとして使用し(計算制約のため、MQTransformerを使用しない)、まず、各エンティティが集団内の他のすべてのエンティティに付随する相互注意機構を追加することで、テスト損失の約3%の改善を達成できるという、小さな需要予測データセットを示す。
提案手法を,200万製品以上の大規模需要予測アプリケーション上で,大規模人口に対する注意を近似する手法として提案手法を用いて評価し,MQCNNベースラインの約1%の性能向上を観測した。
関連論文リスト
- F-FOMAML: GNN-Enhanced Meta-Learning for Peak Period Demand Forecasting with Proxy Data [65.6499834212641]
本稿では,需要予測をメタラーニング問題として定式化し,F-FOMAMLアルゴリズムを開発した。
タスク固有のメタデータを通してドメインの類似性を考慮することにより、トレーニングタスクの数が増加するにつれて過剰なリスクが減少する一般化を改善した。
従来の最先端モデルと比較して,本手法では需要予測精度が著しく向上し,内部自動販売機データセットでは平均絶対誤差が26.24%,JD.comデータセットでは1.04%削減された。
論文 参考訳(メタデータ) (2024-06-23T21:28:50Z) - MCDFN: Supply Chain Demand Forecasting via an Explainable Multi-Channel Data Fusion Network Model [0.0]
CNN,Long Short-Term Memory Network (LSTM), Gated Recurrent Units (GRU)を統合したハイブリッドアーキテクチャであるMulti-Channel Data Fusion Network (MCDFN)を紹介する。
我々の比較ベンチマークは、MCDFNが他の7つのディープラーニングモデルより優れていることを示している。
本研究は,需要予測手法を進歩させ,MCDFNをサプライチェーンシステムに統合するための実践的ガイドラインを提供する。
論文 参考訳(メタデータ) (2024-05-24T14:30:00Z) - Probabilistic MIMO U-Net: Efficient and Accurate Uncertainty Estimation
for Pixel-wise Regression [1.4528189330418977]
機械学習における不確実性推定は、予測モデルの信頼性と解釈可能性を高めるための最重要課題である。
画素ワイド回帰タスクに対するMIMO(Multiple-Input Multiple-Output)フレームワークの適応について述べる。
論文 参考訳(メタデータ) (2023-08-14T22:08:28Z) - Systematic Architectural Design of Scale Transformed Attention Condenser
DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。
ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。
ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文 参考訳(メタデータ) (2023-06-16T18:29:26Z) - CEP3: Community Event Prediction with Neural Point Process on Graph [59.434777403325604]
グラフニューラルネットワークとマーク付き時間点プロセス(MTPP)を組み合わせた新しいモデルを提案する。
実験では,モデルの精度と訓練効率の両面から,モデルの優れた性能を実証した。
論文 参考訳(メタデータ) (2022-05-21T15:30:25Z) - Complex Event Forecasting with Prediction Suffix Trees: Extended
Technical Report [70.7321040534471]
複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。
このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。
複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-01T09:52:31Z) - Uncertainty-Aware Learning for Improvements in Image Quality of the
Canada-France-Hawaii Telescope [9.963669010212012]
我々は、現状の機械学習手法を利用して、環境条件や観測操作パラメータから観測画像の品質(IQ)を予測する。
我々は,CFHT の広視野カメラ MegaCam において,データ特徴と観測された IQ 間の複素依存の高精度かつ解釈可能なモデルを開発した。
論文 参考訳(メタデータ) (2021-06-30T18:10:20Z) - Once Quantization-Aware Training: High Performance Extremely Low-bit
Architecture Search [112.05977301976613]
本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。
まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。
次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
論文 参考訳(メタデータ) (2020-10-09T03:52:16Z) - Quantile Surfaces -- Generalizing Quantile Regression to Multivariate
Targets [4.979758772307178]
我々のアプローチは、QS(quantile surfaces)と呼ばれる、単一出力量子化回帰(QR)から多変量ターゲットへの拡張に基づいている。
第1段階では、決定論的ポイント予測(中央傾向推定)を行います。
次に、量子表面回帰ニューラルネットワーク(QSNN)と呼ばれるニューラルネットワークを含むQSを用いた予測の不確かさをモデル化する。
再生可能エネルギー発電の確率予測と,短期サイクリストの軌道予測の2つの分野において,合成データに対する新たなアプローチと,現在研究中の2つの領域における実世界の課題の評価を行った。
論文 参考訳(メタデータ) (2020-09-29T16:35:37Z) - APQ: Joint Search for Network Architecture, Pruning and Quantization
Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。
ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。
同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文 参考訳(メタデータ) (2020-06-15T16:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。