論文の概要: LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2410.11674v1
• Date: Tue, 15 Oct 2024 15:08:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:50.990438
• Title: LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting
• Title（参考訳）: LLM-Mixer:時系列予測のためのLLMのマルチスケール混合
• Authors: Md Kowsher, Md. Shohanur Islam Sobuj, Nusrat Jahan Prottasha, E. Alejandro Alanis, Ozlem Ozmen Garibay, Niloofar Yousefi,
• Abstract要約: LLM-Mixerは、マルチスケールの時系列分解と事前学習したLCMを組み合わせることで予測精度を向上させるフレームワークである。 データを複数の時間分解能に分解することで、短期的変動と長期的傾向の両方をキャプチャする。
• 参考スコア（独自算出の注目度）: 0.08795040582681389
• License:
• Abstract: Time series forecasting remains a challenging task, particularly in the context of complex multiscale temporal patterns. This study presents LLM-Mixer, a framework that improves forecasting accuracy through the combination of multiscale time-series decomposition with pre-trained LLMs (Large Language Models). LLM-Mixer captures both short-term fluctuations and long-term trends by decomposing the data into multiple temporal resolutions and processing them with a frozen LLM, guided by a textual prompt specifically designed for time-series data. Extensive experiments conducted on multivariate and univariate datasets demonstrate that LLM-Mixer achieves competitive performance, outperforming recent state-of-the-art models across various forecasting horizons. This work highlights the potential of combining multiscale analysis and LLMs for effective and scalable time-series forecasting.
• Abstract（参考訳）: 時系列予測は、特に複雑なマルチスケールの時間パターンの文脈において、依然として困難な課題である。 本研究では,マルチスケール時系列分解と事前学習したLLM(Large Language Models)を組み合わせることで,予測精度を向上させるフレームワークであるLLM-Mixerを提案する。 LLM-Mixerは、データを複数の時間分解能に分解し、凍結したLCMで処理することで、短期的変動と長期的傾向の両方を捉え、時系列データ用に特別に設計されたテキストプロンプトでガイドする。 多変量および単変量データセットで実施された大規模な実験は、LLM-Mixerが競争性能を達成し、様々な予測地平線における最近の最先端モデルよりも優れていることを示した。 この研究は、マルチスケール分析とLLMを組み合わせることで、効果的でスケーラブルな時系列予測を可能にする可能性を強調している。

関連論文リスト

• xLSTM-Mixer: Multivariate Time Series Forecasting by Mixing via Scalar Memories [20.773694998061707]
  時系列データは様々な分野に分散しており、堅牢で正確な予測モデルの開発が必要である。 我々は,時間的シーケンス,共同時間可変情報,堅牢な予測のための複数の視点を効果的に統合するモデルであるxLSTM-Mixerを紹介する。 我々は,最近の最先端手法と比較して,xLSTM-Mixerの長期予測性能が優れていることを示した。
  論文  参考訳（メタデータ） (2024-10-22T11:59:36Z)
• An Evaluation of Standard Statistical Models and LLMs on Time Series Forecasting [16.583730806230644]
  本研究では,大言語モデルが時系列予測の文脈で直面する重要な課題を明らかにする。 実験結果から、大規模な言語モデルは特定のデータセットのゼロショット予測において良好に機能するが、様々な時系列データや従来の信号に直面すると、予測精度は顕著に低下することが示された。
  論文  参考訳（メタデータ） (2024-08-09T05:13:03Z)
• SoupLM: Model Integration in Large Language and Multi-Modal Models [51.12227693121004]
  大規模言語モデル(LLM)の訓練には、かなりの計算資源が必要である。 既存の公開LLMは通常、さまざまなタスクにまたがる、多種多様なプライベートにキュレートされたデータセットで事前トレーニングされる。
  論文  参考訳（メタデータ） (2024-07-11T05:38:15Z)
• MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series [54.91026286579748]
  本稿では,マルチグラインド相関に基づく予測ネットワークを提案する。 予測性能を高めるために3段階の相関を同時に検討する。 注意機構に基づく予測器と条件判別器を用いて、粗い粒度の予測結果を最適化する。
  論文  参考訳（メタデータ） (2024-05-30T03:32:44Z)
• TimeMixer: Decomposable Multiscale Mixing for Time Series Forecasting [19.88184356154215]
  時系列予測は、交通計画や天気予報などのアプリケーションで広く使われている。 TimeMixerは、長期および短期の予測タスクにおいて、一貫した最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-05-23T14:27:07Z)
• Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
  大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。 近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。 本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
  論文  参考訳（メタデータ） (2024-02-16T17:15:28Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters [12.887118862534331]
  事前学習された大言語モデル(LLM)を用いた時系列予測のためのフレームワークを提案する。 LLM4TSは、LLMを時系列データのニュアンスに合わせるための2段階の微調整戦略と、下流の時系列予測タスクのためのテキスト予測微調整ステージから構成される。 我々のフレームワークは、事前訓練されたLLM内に多段階の時間データを統合し、時間固有の情報を解釈する能力を向上する新しい2段階集約手法を特徴としている。
  論文  参考訳（メタデータ） (2023-08-16T16:19:50Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。