論文の概要: TDT Loss Takes It All: Integrating Temporal Dependencies among Targets into Non-Autoregressive Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2406.04777v1
- Date: Fri, 7 Jun 2024 09:21:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 14:50:13.585522
- Title: TDT Loss Takes It All: Integrating Temporal Dependencies among Targets into Non-Autoregressive Time Series Forecasting
- Title（参考訳）: TDTの損失:ターゲット間の時間依存性を非自己回帰時系列予測に統合する
- Authors: Qi Xiong, Kai Tang, Minbo Ma, Jie Xu, Tianrui Li,
- Abstract要約: ターゲット間の時間的依存関係(TDT)の学習は、予測シーケンスを参照する時系列予測の改善に寄与する。
我々は,TDT学習を非自己回帰的手法に統合することは,効率的な時系列予測の追求に不可欠であると主張している。
本稿では,パラメータフリーかつプラグアンドプレイの最適化,すなわち TDT Loss を提案する。
- 参考スコア（独自算出の注目度）: 7.817181045664602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning temporal dependencies among targets (TDT) benefits better time series forecasting, where targets refer to the predicted sequence. Although autoregressive methods model TDT recursively, they suffer from inefficient inference and error accumulation. We argue that integrating TDT learning into non-autoregressive methods is essential for pursuing effective and efficient time series forecasting. In this study, we introduce the differencing approach to represent TDT and propose a parameter-free and plug-and-play solution through an optimization objective, namely TDT Loss. It leverages the proportion of inconsistent signs between predicted and ground truth TDT as an adaptive weight, dynamically balancing target prediction and fine-grained TDT fitting. Importantly, TDT Loss incurs negligible additional cost, with only $\mathcal{O}(n)$ increased computation and $\mathcal{O}(1)$ memory requirements, while significantly enhancing the predictive performance of non-autoregressive models. To assess the effectiveness of TDT loss, we conduct extensive experiments on 7 widely used datasets. The experimental results of plugging TDT loss into 6 state-of-the-art methods show that out of the 168 experiments, 75.00\% and 94.05\% exhibit improvements in terms of MSE and MAE with the maximum 24.56\% and 16.31\%, respectively.
- Abstract（参考訳）: ターゲット間の時間的依存関係(TDT)の学習は、予測シーケンスを参照する時系列予測の改善に寄与する。
自己回帰的手法はTDTを再帰的にモデル化するが、非効率な推論とエラーの蓄積に悩まされる。
我々は,TDT学習を非自己回帰的手法に統合することは,効率的な時系列予測の追求に不可欠であると主張している。
本研究では,TDTを表現するための差分手法を導入し,パラメータフリーでプラグアンドプレイなソリューション,すなわちTDT損失を最適化する手法を提案する。
これは、予測真理と基底真理のTDT間の矛盾する符号の割合を適応重みとして利用し、ターゲット予測と微粒なTDTフィッティングを動的にバランスする。
重要なことに、TDT Lossは無視できる追加コストを発生させ、計算量が増加する$\mathcal{O}(n)$と$\mathcal{O}(1)$メモリ要件が増大し、非自己回帰モデルの予測性能が大幅に向上した。
TDT損失の有効性を評価するため,広く使用されている7つのデータセットについて広範な実験を行った。
6つの最先端手法にTDTの損失を埋め込むことの実験結果から、168実験のうち75.00\%と94.05\%はそれぞれ最大24.56\%と16.31\%のMSEとMAEの改善を示した。
関連論文リスト
- Three-in-One: Fast and Accurate Transducer for Hybrid-Autoregressive ASR [17.950722198543897]
音声認識のための新しいアーキテクチャであるtextbfHybrid-textbfAutoregressive textbfINference TrtextbfANsducers (HAINAN) を提案する。
HAINANは、すべてのネットワークコンポーネントによる自己回帰推論と、予測子を使わずに非自己回帰推論の両方をサポートする。
論文 参考訳（メタデータ） (2024-10-03T15:38:20Z) - Vanilla Gradient Descent for Oblique Decision Trees [7.236325471627686]
ニューラルネットワーク(NN)としての(ハード,斜め)DTの符号化法を提案する。
DTSemNetを用いて学習した斜めDTは、最先端技術を用いて学習した同様の大きさの斜めDTよりも正確であることを示す実験である。
また、DTSemNetは、物理入力による強化学習(RL)設定において、NNポリシーと同じくらい効率的にDTポリシーを学習できることを実験的に実証した。
論文 参考訳（メタデータ） (2024-08-17T08:18:40Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - Coevolutionary Algorithm for Building Robust Decision Trees under
Minimax Regret [12.72963164625931]
本稿では、堅牢なアルゴリズム決定木(DT)を作成するために設計された新しい共進化アルゴリズム(CoEvoRDT)を提案する。
従来のDTアルゴリズムの制限により、適応的共進化を利用してDTを進化させ、摂動入力データとの相互作用から学習する。
CoEvoRDTは20の一般的なデータセットでテストされており、4つの最先端アルゴリズムよりも優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2023-12-14T16:12:22Z) - Efficient Sequence Transduction by Jointly Predicting Tokens and
Durations [41.45674879886209]
シーケンス・ツー・シーケンスタスクのためのToken-and-Duration Transducer (TDT)アーキテクチャ。
TDTはトークンとその期間を共同で予測することで、従来のRNN-Transducerアーキテクチャを拡張している。
推測中、TDTモデルは予測期間出力によって導かれる入力フレームをスキップすることができる。
論文 参考訳（メタデータ） (2023-04-13T19:38:27Z) - Towards Memory- and Time-Efficient Backpropagation for Training Spiking
Neural Networks [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。
本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。
BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
論文 参考訳（メタデータ） (2023-02-28T05:01:01Z) - Peeling the Onion: Hierarchical Reduction of Data Redundancy for
Efficient Vision Transformer Training [110.79400526706081]
ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。
従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。
本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-19T21:15:47Z) - DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over
Graphs [54.08445874064361]
本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。
Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。
提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
論文 参考訳（メタデータ） (2022-08-29T18:01:42Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳（メタデータ） (2022-05-19T08:37:56Z) - Task-guided Disentangled Tuning for Pretrained Language Models [16.429787408467703]
本稿では,事前学習型言語モデル(PLM)のためのタスク誘導型ディスタングル型チューニング(TDT)を提案する。
TDTは、タスク関連信号を絡み合った表現から切り離すことにより、表現の一般化を強化する。
GLUE と CLUE のベンチマークによる実験結果から,TDT は異なる PLM を用いた微調整よりも一貫した結果が得られた。
論文 参考訳（メタデータ） (2022-03-22T03:11:39Z) - PER-ETD: A Polynomially Efficient Emphatic Temporal Difference Learning
Method [49.93717224277131]
PEriodically Restarted-ETD(PEriodically Restarted-ETD)と呼ばれる新しいETD手法を提案する。
PER-ETD は ETD と同じ所望の固定点に収束するが, 指数的なサンプルの複雑性は向上する。
論文 参考訳（メタデータ） (2021-10-13T17:40:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。