論文の概要: Breaking the Context Bottleneck on Long Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2412.16572v1
• Date: Sat, 21 Dec 2024 10:29:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:54:05.149279
• Title: Breaking the Context Bottleneck on Long Time Series Forecasting
• Title（参考訳）: 長期連続予測におけるコンテキストボトルネックの破壊
• Authors: Chao Ma, Yikai Hou, Xiang Li, Yinggang Sun, Haining Yu, Zhou Fang, Jiaxing Qu,
• Abstract要約: 長期の時系列予測は、経済、エネルギー、輸送における計画と意思決定に不可欠である。 最近の進歩によりこれらのモデルの効率は向上したが、より長いシーケンスを効果的に活用することの難しさは持続している。 長いシーケンスの効率的かつ効率的な処理を実現するために,Logsparse Decomposable Multiscaling (LDM) フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.36010639533526
• License:
• Abstract: Long-term time-series forecasting is essential for planning and decision-making in economics, energy, and transportation, where long foresight is required. To obtain such long foresight, models must be both efficient and effective in processing long sequence. Recent advancements have enhanced the efficiency of these models; however, the challenge of effectively leveraging longer sequences persists. This is primarily due to the tendency of these models to overfit when presented with extended inputs, necessitating the use of shorter input lengths to maintain tolerable error margins. In this work, we investigate the multiscale modeling method and propose the Logsparse Decomposable Multiscaling (LDM) framework for the efficient and effective processing of long sequences. We demonstrate that by decoupling patterns at different scales in time series, we can enhance predictability by reducing non-stationarity, improve efficiency through a compact long input representation, and simplify the architecture by providing clear task assignments. Experimental results demonstrate that LDM not only outperforms all baselines in long-term forecasting benchmarks, but also reducing both training time and memory costs.
• Abstract（参考訳）: 長期の予見が必要な経済、エネルギー、輸送の計画と意思決定には、長期の時系列予測が不可欠である。 このような長期監視を得るためには、モデルは効率的かつ効果的に長いシーケンスを処理する必要がある。 近年の進歩によりこれらのモデルの効率は向上したが、より長いシーケンスを効果的に活用することの難しさは持続している。 これは主に、これらのモデルが拡張された入力で提示されるときに過度に適合する傾向にあるためであり、耐え難いエラーマージンを維持するために短い入力長を使用する必要がある。 本研究では,マルチスケールモデリング手法について検討し,長いシーケンスの効率的かつ効率的な処理のためのログスパース・デコンポーザブル・マルチスケーリング(LDM)フレームワークを提案する。 時系列で異なるスケールのパターンを分離することにより、非定常性を低減し、コンパクトな長入力表現により効率を向上し、明確なタスク割り当てを提供することでアーキテクチャを単純化し、予測可能性を高めることができることを示す。 実験結果から, LDMは長期予測ベンチマークにおいて, ベースラインを全て上回るだけでなく, トレーニング時間とメモリコストも低減できることがわかった。

関連論文リスト

• UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
  本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
  論文  参考訳（メタデータ） (2024-10-15T04:56:43Z)
• TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting [49.6208017412376]
  TimeBridgeは、非定常性と依存性モデリングの間のギャップを埋めるために設計された新しいフレームワークである。 TimeBridgeは、短期予測と長期予測の両方において、最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2024-10-06T10:41:03Z)
• Test Time Learning for Time Series Forecasting [1.4605709124065924]
  テストタイムトレーニング(TTT)モジュールは、MambaベースのTimeMachineなど、最先端モデルよりも一貫して優れている。 その結果,平均二乗誤差 (MSE) と平均絶対誤差 (MAE) に有意な改善が認められた。 この研究は、時系列予測の新しいベンチマークを設定し、スケーラブルで高性能な予測モデルにおける将来の研究の基礎を定めている。
  論文  参考訳（メタデータ） (2024-09-21T04:40:08Z)
• Multiscale Representation Enhanced Temporal Flow Fusion Model for Long-Term Workload Forecasting [19.426131129034115]
  本稿では,自己指導型マルチスケール表現学習を利用して,長期および短期のワークロードパターンを抽出する新しいフレームワークを提案する。 長期履歴はマルチスケール表現によって符号化され、短期観測は時流融合によってモデル化される。
  論文  参考訳（メタデータ） (2024-07-29T04:42:18Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
  本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。 トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T18:34:58Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Bidirectional Long-Range Parser for Sequential Data Understanding [3.76054468268713]
  BLRP(Bidirectional Long-Range)は,長距離タスクの性能向上と効率向上を目的とした,新規で汎用的なアテンション機構である。 我々は、最先端の手法に対する競争結果を示すことによって、ビジョンと言語ドメインに対するアプローチの利点と汎用性を示す。
  論文  参考訳（メタデータ） (2024-04-08T05:45:03Z)
• Self-Supervised Contrastive Learning for Long-term Forecasting [41.11757636744812]
  長期予測は、時間とメモリの複雑さによる固有の課題を示す。 スライドウィンドウに頼って長いシーケンスを処理している既存の手法は、長期の変動を効果的に捉えるのに苦労している。 コントラスト学習と拡張分解アーキテクチャを用いて,この制限を克服する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-03T04:32:34Z)
• Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
  天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。 時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。 我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。 提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
  論文  参考訳（メタデータ） (2022-10-02T06:58:49Z)
• Long Short-Term Transformer for Online Action Detection [96.23884916995978]
  Long Short-term TRansformer (LSTR) はオンライン行動検出のための新しい時間的モデリングアルゴリズムである。 以前の研究と比較すると、LSTRはアルゴリズム設計の少ない長編動画を効果的かつ効率的にモデル化する方法を提供する。
  論文  参考訳（メタデータ） (2021-07-07T17:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。