論文の概要: Minusformer: Improving Time Series Forecasting by Progressively Learning
Residuals
- arxiv url: http://arxiv.org/abs/2402.02332v1
- Date: Sun, 4 Feb 2024 03:54:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 20:39:32.287093
- Title: Minusformer: Improving Time Series Forecasting by Progressively Learning
Residuals
- Title(参考訳): minusformer: 逐次学習残差による時系列予測の改善
- Authors: Daojun Liang, Haixia Zhang, Dongfeng Yuan, Bingzheng Zhang and Minggao
Zhang
- Abstract要約: 我々は,情報集約機構を付加と減算から再構築することで,バニラ変圧器を改修する。
本稿では,原モデルの各ブロックに補助出力分岐を組み込んで,最終的な予測に導くハイウェイを構築する。
提案手法は既存の最先端手法よりも優れており,各データセットの平均性能は11.9%向上した。
- 参考スコア(独自算出の注目度): 15.815842882043734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we find that ubiquitous time series (TS) forecasting models
are prone to severe overfitting. To cope with this problem, we embrace a
de-redundancy approach to progressively reinstate the intrinsic values of TS
for future intervals. Specifically, we renovate the vanilla Transformer by
reorienting the information aggregation mechanism from addition to subtraction.
Then, we incorporate an auxiliary output branch into each block of the original
model to construct a highway leading to the ultimate prediction. The output of
subsequent modules in this branch will subtract the previously learned results,
enabling the model to learn the residuals of the supervision signal, layer by
layer. This designing facilitates the learning-driven implicit progressive
decomposition of the input and output streams, empowering the model with
heightened versatility, interpretability, and resilience against overfitting.
Since all aggregations in the model are minus signs, which is called
Minusformer. Extensive experiments demonstrate the proposed method outperform
existing state-of-the-art methods, yielding an average performance improvement
of 11.9% across various datasets.
- Abstract(参考訳): 本稿では,ユビキタス時系列(TS)予測モデルが過度なオーバーフィッティングの傾向にあることを示す。
この問題に対処するため,我々はTSの内在値を将来的な間隔で漸進的に再保存する非冗長アプローチを採用した。
具体的には,情報集約機構を減算に加えることにより,バニラトランスを改良する。
次に、補助出力分岐を元のモデルの各ブロックに組み込み、最終的な予測に繋がる高速道路を構築する。
このブランチにおけるその後のモジュールの出力は、事前に学習した結果を減らし、モデルが監視信号の残余を層ごとに学習できるようにする。
この設計は、入力と出力ストリームの学習駆動による漸進的な分解を促進し、モデルの汎用性、解釈性、過剰フィットに対するレジリエンスを高める。
モデル内のすべてのアグリゲーションはマイナス記号であるため、これはMinusformerと呼ばれる。
広範な実験により、提案手法は既存の最先端手法よりも優れており、様々なデータセットの平均性能が11.9%向上した。
関連論文リスト
- Root Causing Prediction Anomalies Using Explainable AI [3.970146574042422]
本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。
単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。
我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
論文 参考訳(メタデータ) (2024-03-04T19:38:50Z) - Affine transformation estimation improves visual self-supervised
learning [4.40560654491339]
本研究では,アフィン変換の予測表現を制約するモジュールを追加することにより,学習プロセスの性能と効率が向上することを示す。
我々は、様々な近代的な自己監督モデルで実験を行い、全てのケースで性能改善を見る。
論文 参考訳(メタデータ) (2024-02-14T10:32:58Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。
注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文 参考訳(メタデータ) (2023-07-26T08:25:46Z) - Sparse Model Soups: A Recipe for Improved Pruning via Model Averaging [27.69586583737247]
Sparse Model Soups (SMS) は,各プルー・リトレインサイクルを前フェーズから平均モデルに開始することでスパースモデルをマージする新しい手法である。
SMSはスパース性を保ち、スパースネットワークの利点を悪用し、モジュール化され、完全に並列化可能であり、IMPのパフォーマンスを大幅に改善する。
論文 参考訳(メタデータ) (2023-06-29T08:49:41Z) - Exploiting Diffusion Prior for Real-World Image Super-Resolution [81.0962494325732]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。
時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文 参考訳(メタデータ) (2023-05-11T17:55:25Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T15:32:59Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - Online learning techniques for prediction of temporal tabular datasets
with regime changes [0.0]
時間パネルデータセットの予測をランキングするモジュール型機械学習パイプラインを提案する。
パイプラインのモジュラリティにより、GBDT(Gradient Boosting Decision Tree)やニューラルネットワークなど、さまざまなモデルの使用が可能になる。
モデルの再トレーニングを必要としないオンライン学習技術は、予測後の結果を高めるために使用することができる。
論文 参考訳(メタデータ) (2022-12-30T17:19:00Z) - End-to-End Weak Supervision [15.125993628007972]
下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。
下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
論文 参考訳(メタデータ) (2021-07-05T19:10:11Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳(メタデータ) (2020-04-08T09:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。