論文の概要: AMLNet: Adversarial Mutual Learning Neural Network for
Non-AutoRegressive Multi-Horizon Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2310.19289v1
- Date: Mon, 30 Oct 2023 06:10:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 21:37:23.419690
- Title: AMLNet: Adversarial Mutual Learning Neural Network for
Non-AutoRegressive Multi-Horizon Time Series Forecasting
- Title（参考訳）: AMLNet:非回帰型マルチ水平時系列予測のための対向的相互学習ニューラルネットワーク
- Authors: Yang Lin
- Abstract要約: AMLNetは,オンライン知識蒸留手法を用いて,現実的な予測を実現する革新的なNARモデルである。
AMLNetは、ディープARデコーダとディープNARデコーダを協調的にトレーニングすることで、ARモデルとNARモデルの長所を活用する。
この知識伝達は、(1)教師モデルからのKD損失の寄与を動的に加重し、浅いNARデコーダがアンサンブルの多様性を組み込むことを可能にする結果駆動型KD、(2)モデルに隠された蒸留状態から貴重な洞察を抽出するために敵の訓練を利用するヒント駆動型KDの2つの主要なメカニズムによって促進される。
- 参考スコア（独自算出の注目度）: 4.911305944028228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-horizon time series forecasting, crucial across diverse domains,
demands high accuracy and speed. While AutoRegressive (AR) models excel in
short-term predictions, they suffer speed and error issues as the horizon
extends. Non-AutoRegressive (NAR) models suit long-term predictions but
struggle with interdependence, yielding unrealistic results. We introduce
AMLNet, an innovative NAR model that achieves realistic forecasts through an
online Knowledge Distillation (KD) approach. AMLNet harnesses the strengths of
both AR and NAR models by training a deep AR decoder and a deep NAR decoder in
a collaborative manner, serving as ensemble teachers that impart knowledge to a
shallower NAR decoder. This knowledge transfer is facilitated through two key
mechanisms: 1) outcome-driven KD, which dynamically weights the contribution of
KD losses from the teacher models, enabling the shallow NAR decoder to
incorporate the ensemble's diversity; and 2) hint-driven KD, which employs
adversarial training to extract valuable insights from the model's hidden
states for distillation. Extensive experimentation showcases AMLNet's
superiority over conventional AR and NAR models, thereby presenting a promising
avenue for multi-horizon time series forecasting that enhances accuracy and
expedites computation.
- Abstract（参考訳）: 多様な領域で重要なマルチホライゾン時系列予測は、高い精度とスピードを要求する。
AutoRegressive(AR)モデルは短期的な予測では優れているが、地平線が広がるにつれて速度とエラーの問題に悩まされる。
非自動回帰(NAR)モデルは長期的な予測に適合するが、相互依存に苦慮し、非現実的な結果をもたらす。
我々は、オンライン知識蒸留(KD)アプローチにより現実的な予測を実現する革新的なNARモデルであるAMLNetを紹介する。
AMLNetは、深いARデコーダと深いNARデコーダを協調的に訓練し、より浅いNARデコーダに知識を与えるアンサンブル教師として機能することで、ARモデルとNARモデルの長所を活用する。
この知識伝達は2つの重要なメカニズムによって促進される。
1) 結果駆動型KDは教師モデルからのKD損失の寄与を動的に重み付けし、浅いNARデコーダがアンサンブルの多様性を組み込むことを可能にする。
2) ヒント駆動型KDは, モデルに隠された状態から有意な洞察を抽出し, 蒸留する。
大規模な実験では、従来のARやNARモデルよりもAMLNetの方が優れていることが示され、精度を高め、計算を高速化するマルチホライゾン時系列予測のための有望な道を示す。
関連論文リスト
- Leveraging Diverse Modeling Contexts with Collaborating Learning for
Neural Machine Translation [26.823126615724888]
自己回帰(AR)モデルと非自己回帰(NAR)モデル(NAR)モデルはニューラルマシン翻訳(NMT)のための2種類の生成モデルである
本稿では,教師や学生の代わりにARモデルとNARモデルを協調者として扱う,新しい総合的協調学習手法であるDCMCLを提案する。
論文 参考訳（メタデータ） (2024-02-28T15:55:02Z) - Distilling Autoregressive Models to Obtain High-Performance
Non-Autoregressive Solvers for Vehicle Routing Problems with Faster Inference
Speed [8.184624214651283]
本稿では,低推論遅延を有する高性能NARモデルを得るための汎用的非自己回帰的知識蒸留法(GNARKD)を提案する。
我々は、GNARKDを広く採用されている3つのARモデルに適用して、合成および実世界の両方のインスタンスに対して、NAR VRPソルバを得る。
論文 参考訳（メタデータ） (2023-12-19T07:13:32Z) - Progressive Neural Network for Multi-Horizon Time Series Forecasting [4.911305944028228]
ProNetは、マルチ水平時系列予測用に設計された新しいディープラーニングアプローチである。
本手法では,予測水平線をセグメントに分割し,非自己回帰的に各セグメントの最も重要なステップを予測し,残りのステップを自己回帰的に行う。
ARモデルと比較して、ProNetは顕著なアドバンテージを示し、ARイテレーションを少なくし、予測速度を高速化し、エラーの蓄積を軽減している。
論文 参考訳（メタデータ） (2023-10-30T07:46:40Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳（メタデータ） (2022-11-21T03:09:42Z) - Helping the Weak Makes You Strong: Simple Multi-Task Learning Improves
Non-Autoregressive Translators [35.939982651768666]
NARモデルの確率フレームワークは、ターゲットシーケンスに対する条件付き独立性仮定を必要とする。
本稿では,より情報的な学習信号を提供するための,シンプルでモデルに依存しないマルチタスク学習フレームワークを提案する。
我々の手法は、追加のデコードオーバーヘッドを追加することなく、複数のNARベースラインの精度を一貫して改善することができる。
論文 参考訳（メタデータ） (2022-11-11T09:10:14Z) - Probabilistic AutoRegressive Neural Networks for Accurate Long-range
Forecasting [6.295157260756792]
確率的自己回帰ニューラルネットワーク(PARNN)について紹介する。
PARNNは、非定常性、非線形性、非調和性、長距離依存、カオスパターンを示す複雑な時系列データを扱うことができる。
本研究では,Transformers,NBeats,DeepARなどの標準統計モデル,機械学習モデル,ディープラーニングモデルに対して,PARNNの性能を評価する。
論文 参考訳（メタデータ） (2022-04-01T17:57:36Z) - A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text
Generation [59.64193903397301]
非自己回帰モデル (NAR) はシーケンス内の複数の出力を同時に生成し、自動回帰ベースラインと比較して精度低下のコストで推論速度を著しく低減する。
エンドツーエンド自動音声認識(ASR)のための様々なNARモデリング手法の比較研究を行う。
各種課題の成果は, 精度・速度トレードオフや長文発話に対する頑健性など, NAR ASR の理解を深める上で興味深い結果をもたらす。
論文 参考訳（メタデータ） (2021-10-11T13:05:06Z) - TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech
Recognition [69.68154370877615]
非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。
この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。
以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
論文 参考訳（メタデータ） (2021-04-04T02:34:55Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-07-27T12:38:37Z) - An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。
非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。
本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
論文 参考訳（メタデータ） (2020-06-29T20:58:57Z) - A Study of Non-autoregressive Model for Sequence Generation [147.89525760170923]
非自己回帰(NAR)モデルは、シーケンスのすべてのトークンを並列に生成する。
本稿では,ARモデルとNARモデルのギャップを埋めるために,知識蒸留とソースターゲットアライメントを提案する。
論文 参考訳（メタデータ） (2020-04-22T09:16:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。