Fugu-MT 論文翻訳(概要): LeMoLE: LLM-Enhanced Mixture of Linear Experts for Time Series Forecasting

論文の概要: LeMoLE: LLM-Enhanced Mixture of Linear Experts for Time Series Forecasting

arxiv url: http://arxiv.org/abs/2412.00053v1
Date: Sun, 24 Nov 2024 12:40:50 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-04 21:11:21.247775
Title: LeMoLE: LLM-Enhanced Mixture of Linear Experts for Time Series Forecasting
Title（参考訳）: LeMole:LLMによる時系列予測のための線形エキスパートの混合
Authors: Lingzheng Zhang, Lifeng Shen, Yimin Zheng, Shiyuan Piao, Ziyue Li, Fugee Tsung,
Abstract要約: 本稿では,高精度かつ効率的な時系列予測のための線形エキスパートのLLM混合について紹介する。線形エキスパートの混合の使用は単純さのため効率的であり、マルチモーダル融合機構は複数の線形エキスパートを適応的に結合する。実験の結果,提案したLeMoLEモデルは既存のLLMモデルよりも予測誤差が低く,計算効率も高いことがわかった。
参考スコア（独自算出の注目度）: 9.132953776171808
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent research has shown that large language models (LLMs) can be effectively used for real-world time series forecasting due to their strong natural language understanding capabilities. However, aligning time series into semantic spaces of LLMs comes with high computational costs and inference complexity, particularly for long-range time series generation. Building on recent advancements in using linear models for time series, this paper introduces an LLM-enhanced mixture of linear experts for precise and efficient time series forecasting. This approach involves developing a mixture of linear experts with multiple lookback lengths and a new multimodal fusion mechanism. The use of a mixture of linear experts is efficient due to its simplicity, while the multimodal fusion mechanism adaptively combines multiple linear experts based on the learned features of the text modality from pre-trained large language models. In experiments, we rethink the need to align time series to LLMs by existing time-series large language models and further discuss their efficiency and effectiveness in time series forecasting. Our experimental results show that the proposed LeMoLE model presents lower prediction errors and higher computational efficiency than existing LLM models.
Abstract（参考訳）: 近年の研究では、大規模言語モデル(LLM)は、その強力な自然言語理解能力により、実世界の時系列予測に効果的に利用できることが示されている。しかし、時系列をLLMのセマンティック空間に整列させることは、特に長距離時系列生成において高い計算コストと推論の複雑さをもたらす。本稿では,線形モデルを時系列に利用することの最近の進歩を踏まえ,高精度かつ効率的な時系列予測のための線形エキスパートのLLM混合について紹介する。このアプローチでは、複数のルックバック長さを持つ線形専門家の混合と、新しいマルチモーダル融合機構を開発する。線形エキスパートの混在は、その単純さから効率的であり、マルチモーダル融合機構は、事前訓練された大規模言語モデルからのテキストモダリティの学習的特徴に基づいて、複数の線形エキスパートを適応的に結合する。実験では,既存の時系列大言語モデルを用いて時系列をLLMに整合させる必要性を再考し,時系列予測におけるその効率性と有効性について考察する。実験の結果,提案したLeMoLEモデルは既存のLLMモデルよりも予測誤差が低く,計算効率も高いことがわかった。

関連論文リスト

Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
論文参考訳（メタデータ） (2025-04-02T20:33:27Z)
LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
論文参考訳（メタデータ） (2025-03-12T11:45:11Z)
Explainable Multi-modal Time Series Prediction with LLM-in-the-Loop [63.34626300024294]
TimeXLはプロトタイプベースの時系列エンコーダを統合するマルチモーダル予測フレームワークである。より正確な予測と解釈可能な説明を生成する。 4つの実世界のデータセットに対する実証的な評価は、TimeXLがAUCで最大8.9%の改善を達成していることを示している。
論文参考訳（メタデータ） (2025-03-02T20:40:53Z)
Large Language Models are Few-shot Multivariate Time Series Classifiers [23.045734479292356]
大規模言語モデル (LLM) は時系列解析に広く応用されている。しかし、数発の分類(すなわち重要な訓練シナリオ)におけるそれらの実用性は過小評価されている。データ不足を克服するために,LLMの学習済み知識を幅広く活用することを目的としている。
論文参考訳（メタデータ） (2025-01-30T03:59:59Z)
Revisited Large Language Model for Time Series Analysis through Modality Alignment [16.147350486106777]
大規模言語モデルは、センサデータ分析のような多くの重要なWebアプリケーションにおいて、印象的なパフォーマンスを示している。本研究では,予測,分類,計算,異常検出など,主要な時系列タスクにLLMを適用することの有効性を評価する。この結果から,LLMはこれらのコア時系列タスクに対して最小限のアドバンテージを提供し,データの時間構造を歪めてしまう可能性があることがわかった。
論文参考訳（メタデータ） (2024-10-16T07:47:31Z)
LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting [0.08795040582681389]
LLM-Mixerは、マルチスケールの時系列分解と事前学習したLCMを組み合わせることで予測精度を向上させるフレームワークである。データを複数の時間分解能に分解することで、短期的変動と長期的傾向の両方をキャプチャする。
論文参考訳（メタデータ） (2024-10-15T15:08:57Z)
Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training [48.455597568212944]
マルチモーダル・ミックス・オブ・エキスパート構造を用いて視覚専門家の集合をシームレスに統合するモノリシックMLLMであるMono-InternVLを提案する。特に、EViPは、ノイズの多いデータから高品質なデータへの視覚的知識を完全に活用することを目的とした、視覚専門家のための進歩的な学習プロセスとして設計されている。
論文参考訳（メタデータ） (2024-10-10T17:59:22Z)
CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
論文参考訳（メタデータ） (2024-03-12T04:04:38Z)
Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
論文参考訳（メタデータ） (2024-02-16T17:15:28Z)
AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
論文参考訳（メタデータ） (2024-02-04T06:59:21Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。