論文の概要: Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals

• arxiv url: http://arxiv.org/abs/2402.02332v3
• Date: Mon, 17 Jun 2024 09:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 06:35:20.383528
• Title: Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals
• Title（参考訳）: Minusformer: 逐次学習による時系列予測の改善
• Authors: Daojun Liang, Haixia Zhang, Dongfeng Yuan, Bingzheng Zhang, Minggao Zhang,
• Abstract要約: ユビキタス時系列(TS)予測モデルでは,過度なオーバーフィッティングが生じる傾向にある。 本稿では,深層的なブースティング・アンサンブル学習手法である二重ストリーム・サブトラクション機構を提案する。 提案手法は既存の最先端手法よりも優れており,各データセットの平均性能は11.9%向上した。
• 参考スコア（独自算出の注目度）: 14.741951369068877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we find that ubiquitous time series (TS) forecasting models are prone to severe overfitting. To cope with this problem, we embrace a de-redundancy approach to progressively reinstate the intrinsic values of TS for future intervals. Specifically, we introduce a dual-stream and subtraction mechanism, which is a deep Boosting ensemble learning method. And the vanilla Transformer is renovated by reorienting the information aggregation mechanism from addition to subtraction. Then, we incorporate an auxiliary output branch into each block of the original model to construct a highway leading to the ultimate prediction. The output of subsequent modules in this branch will subtract the previously learned results, enabling the model to learn the residuals of the supervision signal, layer by layer. This designing facilitates the learning-driven implicit progressive decomposition of the input and output streams, empowering the model with heightened versatility, interpretability, and resilience against overfitting. Since all aggregations in the model are minus signs, which is called Minusformer. Extensive experiments demonstrate the proposed method outperform existing state-of-the-art methods, yielding an average performance improvement of 11.9% across various datasets.The code has been released at https://github.com/Anoise/Minusformer.
• Abstract（参考訳）: 本稿では,ユビキタス時系列(TS)予測モデルが過度なオーバーフィッティングの傾向にあることを示す。 この問題に対処するため,我々はTSの内在値を将来的な間隔で漸進的に再保存する非冗長アプローチを採用した。 具体的には、ディープ・ブースティング・アンサンブル学習法である二重ストリーム・サブトラクション機構を導入する。 そして、バニラ変換器は、情報集約機構を加算から減算に再配置することにより、更新される。 そして、原モデルの各ブロックに補助出力分岐を組み込んで、最終的な予測につながるハイウェイを構築する。 このブランチにおけるその後のモジュールの出力は、事前に学習した結果を減らし、モデルが監視信号の残余を層ごとに学習できるようにする。 この設計により、学習駆動による入力ストリームと出力ストリームの漸進的分解が促進され、モデルの汎用性、解釈可能性、過度な適合に対するレジリエンスが向上する。 モデル内のすべてのアグリゲーションはマイナス記号であるため、これはMinusformerと呼ばれる。 大規模な実験により、提案手法は既存の最先端手法よりも優れており、様々なデータセットで平均11.9%の性能向上を実現している。このコードはhttps://github.com/Anoise/Minusformer.comでリリースされた。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
  本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。 本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。 FactorQVAEと呼ばれる手法は,最適化に基づく不整合アプローチと離散表現学習を組み合わせた最初の手法である。
  論文  参考訳（メタデータ） (2024-09-23T09:33:53Z)
• Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
  拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。 本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。 提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
  論文  参考訳（メタデータ） (2024-09-13T02:23:55Z)
• Root Causing Prediction Anomalies Using Explainable AI [3.970146574042422]
  本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。 単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。 我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
  論文  参考訳（メタデータ） (2024-03-04T19:38:50Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• End-to-End Weak Supervision [15.125993628007972]
  下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。 下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:10:11Z)
• Generative Flows with Invertible Attentions [135.23766216657745]
  生成フローモデルに対する2種類の非可逆的注意機構を導入する。 フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。 提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
  論文  参考訳（メタデータ） (2021-06-07T20:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。