論文の概要: Boosting MLPs with a Coarsening Strategy for Long-Term Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2405.03199v2
• Date: Mon, 20 May 2024 07:48:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 20:25:40.083509
• Title: Boosting MLPs with a Coarsening Strategy for Long-Term Time Series Forecasting
• Title（参考訳）: 長期連続予測のための粗大化戦略によるMLPの強化
• Authors: Nannan Bian, Minhong Zhu, Li Chen, Weiran Cai,
• Abstract要約: ディープラーニング手法は,長期連続予測においてその強みを発揮してきた。 彼らはしばしば表現力と計算効率のバランスをとるのに苦労する。 本稿では,情報グラニュラーを単独の時間点の代わりに形成することにより,プロトタイプに関わる問題を緩和する粗大化戦略を提案する。 純粋な構造的単純さの畳み込みに基づいて、CP-Netは線形計算の複雑さとランタイムの低さを維持しつつ、7つの予測ベンチマークでSOTA法と比較すると4.1%の改善を示した。
• 参考スコア（独自算出の注目度）: 6.481470306093991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning methods have been exerting their strengths in long-term time series forecasting. However, they often struggle to strike a balance between expressive power and computational efficiency. Resorting to multi-layer perceptrons (MLPs) provides a compromising solution, yet they suffer from two critical problems caused by the intrinsic point-wise mapping mode, in terms of deficient contextual dependencies and inadequate information bottleneck. Here, we propose the Coarsened Perceptron Network (CP-Net), featured by a coarsening strategy that alleviates the above problems associated with the prototype MLPs by forming information granules in place of solitary temporal points. The CP-Net utilizes primarily a two-stage framework for extracting semantic and contextual patterns, which preserves correlations over larger timespans and filters out volatile noises. This is further enhanced by a multi-scale setting, where patterns of diverse granularities are fused towards a comprehensive prediction. Based purely on convolutions of structural simplicity, CP-Net is able to maintain a linear computational complexity and low runtime, while demonstrates an improvement of 4.1% compared with the SOTA method on seven forecasting benchmarks.
• Abstract（参考訳）: ディープラーニング手法は,長期連続予測においてその強みを発揮してきた。 しかし、表現力と計算効率のバランスをとるのに苦労することが多い。 マルチ層パーセプトロン (MLPs) へのリソーシングは、妥協的なソリューションを提供するが、それらは固有のポイントワイドマッピングモードによって引き起こされる2つの重大な問題に悩まされる。 本稿では,単独の時間点の代わりに情報グラニュラーを形成することで,プロトタイプMLPに関連する問題を緩和する粗大化戦略を特徴とする粗大化パーセプトロンネットワーク(CP-Net)を提案する。 CP-Netは主に意味的パターンと文脈的パターンを抽出するための2段階のフレームワークを使用しており、より大きなタイムパンの相関を保ち、揮発性雑音を除去する。 これは、多様な粒度のパターンを総合的な予測に向けて融合させるマルチスケール設定によってさらに強化される。 純粋に構造的単純さの畳み込みに基づいて、CP-Netは線形計算の複雑さとランタイムの低さを維持しつつ、7つの予測ベンチマークでSOTA法と比較すると4.1%の改善を示した。

関連論文リスト

• Approximate attention with MLP: a pruning strategy for attention-based model in multivariate time series forecasting [21.7023262988233]
  この研究は、自己注意ネットワークを理解するための新しい方法を提案する。 注意機構全体が劣化する空間ネットワークに還元可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T15:23:34Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
  拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。 3つの戦略を含む新しい量子化フレームワークを導入する。 このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
  論文  参考訳（メタデータ） (2024-07-28T17:46:15Z)
• SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention [47.5772915135952]
  大きな言語モデル(LLM)は、非常に長いコンテキストウィンドウをサポートするようになった。 バニラの注意の二次的な複雑さは、TTFT(Time-to-First-Token)レイテンシを著しく長くする。 適応型構造とほぼロスレスなスパースアテンションであるSampleAttentionを提案する。
  論文  参考訳（メタデータ） (2024-06-17T11:05:15Z)
• Near-Optimal Learning and Planning in Separated Latent MDPs [70.88315649628251]
  我々は、潜在マルコフ決定過程(LMDP)の計算的および統計的側面について研究する。 このモデルでは、学習者は、未知のMDPの混合から各エポックの開始時に描画されたMDPと相互作用する。
  論文  参考訳（メタデータ） (2024-06-12T06:41:47Z)
• Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
  時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。 我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。 提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
  論文  参考訳（メタデータ） (2024-06-06T05:27:33Z)
• Concrete Dense Network for Long-Sequence Time Series Clustering [4.307648859471193]
  時系列クラスタリングは、時間的パターンを発見するためのデータ分析において基本である。 深部時間クラスタリング手法は、ニューラルネットワークのエンドツーエンドトレーニングに標準k平均を組み込もうとしている。 LoSTerは、時系列クラスタリング問題に対する新しい密集型オートエンコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2024-05-08T12:31:35Z)
• MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series Interpretable Forecasting [13.790498420659636]
  時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。 本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。 時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
  論文  参考訳（メタデータ） (2023-07-13T13:16:01Z)
• OFTER: An Online Pipeline for Time Series Forecasting [3.9962751777898955]
  OFTERは、中規模の多変量時系列に適した時系列予測パイプラインである。 オンラインタスク用に特別に設計されており、解釈可能な出力を持ち、いくつかの最先端のアートベースラインを上回ります。 アルゴリズムの計算効率、オンラインの性質、低信号対雑音方式での運用能力により、OFTERは金融時系列問題に理想的なアプローチとなる。
  論文  参考訳（メタデータ） (2023-04-08T00:18:03Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。