論文の概要: LeMoLE: LLM-Enhanced Mixture of Linear Experts for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2412.00053v1
• Date: Sun, 24 Nov 2024 12:40:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-08 08:47:24.519397
• Title: LeMoLE: LLM-Enhanced Mixture of Linear Experts for Time Series Forecasting
• Title（参考訳）: LeMole:LLMによる時系列予測のための線形エキスパートの混合
• Authors: Lingzheng Zhang, Lifeng Shen, Yimin Zheng, Shiyuan Piao, Ziyue Li, Fugee Tsung,
• Abstract要約: 本稿では,高精度かつ効率的な時系列予測のための線形エキスパートのLLM混合について紹介する。 線形エキスパートの混合の使用は単純さのため効率的であり、マルチモーダル融合機構は複数の線形エキスパートを適応的に結合する。 実験の結果,提案したLeMoLEモデルは既存のLLMモデルよりも予測誤差が低く,計算効率も高いことがわかった。
• 参考スコア（独自算出の注目度）: 9.132953776171808
• License:
• Abstract: Recent research has shown that large language models (LLMs) can be effectively used for real-world time series forecasting due to their strong natural language understanding capabilities. However, aligning time series into semantic spaces of LLMs comes with high computational costs and inference complexity, particularly for long-range time series generation. Building on recent advancements in using linear models for time series, this paper introduces an LLM-enhanced mixture of linear experts for precise and efficient time series forecasting. This approach involves developing a mixture of linear experts with multiple lookback lengths and a new multimodal fusion mechanism. The use of a mixture of linear experts is efficient due to its simplicity, while the multimodal fusion mechanism adaptively combines multiple linear experts based on the learned features of the text modality from pre-trained large language models. In experiments, we rethink the need to align time series to LLMs by existing time-series large language models and further discuss their efficiency and effectiveness in time series forecasting. Our experimental results show that the proposed LeMoLE model presents lower prediction errors and higher computational efficiency than existing LLM models.
• Abstract（参考訳）: 近年の研究では、大規模言語モデル(LLM)は、その強力な自然言語理解能力により、実世界の時系列予測に効果的に利用できることが示されている。 しかし、時系列をLLMのセマンティック空間に整列させることは、特に長距離時系列生成において高い計算コストと推論の複雑さをもたらす。 本稿では,線形モデルを時系列に利用することの最近の進歩を踏まえ,高精度かつ効率的な時系列予測のための線形エキスパートのLLM混合について紹介する。 このアプローチでは、複数のルックバック長さを持つ線形専門家の混合と、新しいマルチモーダル融合機構を開発する。 線形エキスパートの混在は、その単純さから効率的であり、マルチモーダル融合機構は、事前訓練された大規模言語モデルからのテキストモダリティの学習的特徴に基づいて、複数の線形エキスパートを適応的に結合する。 実験では,既存の時系列大言語モデルを用いて時系列をLLMに整合させる必要性を再考し,時系列予測におけるその効率性と有効性について考察する。 実験の結果,提案したLeMoLEモデルは既存のLLMモデルよりも予測誤差が低く,計算効率も高いことがわかった。

関連論文リスト

• Revisited Large Language Model for Time Series Analysis through Modality Alignment [16.147350486106777]
  大規模言語モデルは、センサデータ分析のような多くの重要なWebアプリケーションにおいて、印象的なパフォーマンスを示している。 本研究では,予測,分類,計算,異常検出など,主要な時系列タスクにLLMを適用することの有効性を評価する。 この結果から,LLMはこれらのコア時系列タスクに対して最小限のアドバンテージを提供し,データの時間構造を歪めてしまう可能性があることがわかった。
  論文  参考訳（メタデータ） (2024-10-16T07:47:31Z)
• LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting [0.08795040582681389]
  LLM-Mixerは、マルチスケールの時系列分解と事前学習したLCMを組み合わせることで予測精度を向上させるフレームワークである。 データを複数の時間分解能に分解することで、短期的変動と長期的傾向の両方をキャプチャする。
  論文  参考訳（メタデータ） (2024-10-15T15:08:57Z)
• Beam Prediction based on Large Language Models [51.45077318268427]
  ミリ波(mmWave)通信は次世代無線ネットワークに期待できるが、パス損失は大きい。 長短期記憶(LSTM)のような従来のディープラーニングモデルでは、ビーム追跡精度が向上するが、ロバスト性や一般化が不足している。 本稿では,大規模言語モデル(LLM)を用いて,ビーム予測の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-08-16T12:40:01Z)
• An Evaluation of Standard Statistical Models and LLMs on Time Series Forecasting [16.583730806230644]
  本研究では,大言語モデルが時系列予測の文脈で直面する重要な課題を明らかにする。 実験結果から、大規模な言語モデルは特定のデータセットのゼロショット予測において良好に機能するが、様々な時系列データや従来の信号に直面すると、予測精度は顕著に低下することが示された。
  論文  参考訳（メタデータ） (2024-08-09T05:13:03Z)
• Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
  大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。 近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。 本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
  論文  参考訳（メタデータ） (2024-02-16T17:15:28Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。