論文の概要: FM-LLM: A frequency-enhanced mixture-of-experts framework for adapting LLMs to time series forecasting

• arxiv url: http://arxiv.org/abs/2608.11623v1
• Date: Wed, 12 Aug 2026 04:09:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.445562
• Title: FM-LLM: A frequency-enhanced mixture-of-experts framework for adapting LLMs to time series forecasting
• Title（参考訳）: FM-LLM:LLMを時系列予測に適用するための周波数強調混合処理フレームワーク
• Abstract要約: 時系列予測に大規模言語モデルを適用するための周波数強調混合手法を提案する。 フーリエ解析ネットワーク(FAN)ベースのスペクトルトークン整列器は、構造化された調和表現を凍結LDMに直接注入する。 MoEデコーダは役割分離を強制し、専門家は非周期的残留力学のモデリングにおいて標準FFNに制限される。
• 参考スコア（独自算出の注目度）: 12.729313154656252
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advances in Large Language Models (LLMs) have spurred cross-modal solutions for time-series forecasting. However, existing methods rely heavily on textual prompts for modality alignment-introducing nontrivial computational overhead and failing to leverage the rich spectral dynamics inherent in time-series data. To enable prompt-free, frequency-aware adaptation of frozen LLMs, we propose FM-LLM (Frequency-Enhanced Mixture-of-Experts for adapting LLMs to Time Series Forecasting), an autoregressive framework grounded in constrained asymmetric coupling. A Fourier Analysis Network (FAN)-based spectral token aligner injects structured harmonic representations directly into the frozen LLM with numerical compatibility. An asymmetric Mixture-of-Experts (MoE) decoder enforces role separation: shared experts with lightweight FAN layers reconstruct the global periodic backbone, while routed experts-restricted to standard FFNs-specialize in modeling non-periodic residual dynamics. A time-frequency hybrid loss function jointly optimizes temporal accuracy and spectral consistency, mitigating error accumulation during long-horizon autoregressive rollouts. Evaluated across eleven public benchmarks, FM-LLM achieves state-of-the-art performance on 59 out of 78 evaluation metrics. Compared to the strongest autoregressive LLM-based baseline, it delivers average improvements of 5.3% in MSE and 5.6% in MAE, with maximum gains reaching 8.0% for MSE and 8.4% for MAE. FM-LLM also demonstrates robust transferability, maintaining superior performance in 10% few-shot and zero-shot forecasting scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、時系列予測のためのクロスモーダルなソリューションを刺激している。 しかし、既存の手法は、非自明な計算オーバーヘッドを導入し、時系列データに固有のリッチスペクトルのダイナミクスを活用できないために、テキストプロンプトに大きく依存している。 本研究では,制限付き非対称結合を基盤とした自己回帰型フレームワークFM-LLMを提案する。 フーリエ解析ネットワーク(FAN)ベースのスペクトルトークン整列器は、構造化された調和表現を、数値的な互換性を持って冷凍LDMに直接注入する。 非対称Mixture-of-Experts(MoE)デコーダは役割分離を強制する: 軽量なFAN層を持つ共有専門家はグローバルな周期的バックボーンを再構築する一方、ルーティング専門家は非周期的残留力学のモデリングにおいて標準FFNに制限される。 時間周波数ハイブリッド損失関数は、時間的精度とスペクトル一貫性を共同で最適化し、長時間の自己回帰ロールアウト時の誤差蓄積を緩和する。 FM-LLMは11の公開ベンチマークで評価され、78の指標のうち59の最先端のパフォーマンスを達成した。 最強の自己回帰式LDMベースラインと比較して、MSEは5.3%、MAEは5.6%改善し、MSEは8.0%、MAEは8.4%向上した。 FM-LLMはまた、堅牢な転送可能性を示し、10%のショット数とゼロショット予測シナリオで優れたパフォーマンスを維持している。

関連論文リスト

• Distribution-Aware Diffusion-LLM for Robust Ultra-Long-Term Time Series Forecasting [8.2867621159451]
  時系列予測は基本的な機械学習タスクである。 最近の研究は、この目的のために、強力な一般化、パターン認識、ゼロショットまたは少数ショット機能のために、Large Language Models (LLMs)を探索している。 LLMに基づく予測パイプラインに条件付き拡散モデルを統合する新しいフレームワークDiffusion-LLMを提案する。
  論文  参考訳（メタデータ） (2026-06-22T14:18:28Z)
• Rethinking Post-Training Recipes for Multimodal Time-Series Forecasting [30.02814339453953]
  我々は,マルチモーダルな時系列予測手法について論じる。 Supervised Fine-Tuning (SFT) と Supervisement Learning with Verifiable Rewards (RLVR) を組み合わせたポストトレーニングレシピであるPostTimeを紹介する。 Gemma-3-4B LLMとTimesFM-2.5 TSFMを用いて,TimesXマルチモーダル予測ベンチマークで本手法を評価する。
  論文  参考訳（メタデータ） (2026-05-28T05:52:28Z)
• PrismFlow: Residual Dynamics for Flow Matching in Time-Series Generation [24.703364668945543]
  フローマッチングは拡散モデルに代わる効率的な代替手段を提供するが、現実的な実装は典型的には単一の有限容量大域ベクトル場推定器に依存する。 したがって、標準$ell$ベロシティマッチング目標で訓練されたモノリシックな推定器は、局所輸送場の過度に滑らかな近似を学ぶことができる。 この推定器レベルの滑らか化は分枝特異的なダイナミクスとなり、スペクトル歪みとモードカバレッジが低下する。 クープマンにインスパイアされた動的専門家による新しいFM手法であるPrismFlowを提案する。
  論文  参考訳（メタデータ） (2026-05-22T07:10:20Z)
• Nexus : An Agentic Framework for Time Series Forecasting [72.73790673303154]
  時系列予測は、ニュースやイベントのような構造化されていないコンテキストデータによる推論を必要とする。 予測を特殊なステージに分解するマルチエージェント予測フレームワークであるNexusを紹介します。 本研究では,現在のLLMは,従来よりも強い固有予測能力を有することを示す。
  論文  参考訳（メタデータ） (2026-05-14T05:12:13Z)
• MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
  textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。 textbfLow-rank textbfParameter textbfMerging (textbfLPM)
  論文  参考訳（メタデータ） (2026-04-15T15:57:23Z)
• WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training [64.0932926819307]
  本稿では,学習速度減衰とモデルマージの正式な関係を確立するフレームワークであるWarmup-Stable and Merge(WSM)を紹介する。 WSMは様々な崩壊戦略をエミュレートするための統一された理論基盤を提供する。 私たちのフレームワークは、複数のベンチマークで広く採用されているWarmup-Stable-Decay(WSD)アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-07-23T16:02:06Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• A Multi-scale Representation Learning Framework for Long-Term Time Series Forecasting [6.344911113059126]
  長期時系列予測(LTSF)は、エネルギー消費や天気予報といった実用的な設定において幅広い用途を提供する。 この研究は、多粒度情報の最適部分利用を含むLTSFの重要な問題に直面している。 提案手法は,様々なスケールにわたる明瞭で同時的な予測を用いて,複雑な時間的ダイナミクスを適切に解き放つ。
  論文  参考訳（メタデータ） (2025-05-13T03:26:44Z)
• FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
  FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。 非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。 条件設定では、太陽予測において優れた性能を達成している。
  論文  参考訳（メタデータ） (2024-11-12T03:03:23Z)
• MMFNet: Multi-Scale Frequency Masking Neural Network for Multivariate Time Series Forecasting [6.733646592789575]
  長期時系列予測(LTSF)は、電力消費計画、財務予測、疾病の伝播分析など、多くの実世界の応用において重要である。 MMFNetは,マルチスケールマスク付き周波数分解手法を利用して,長期多変量予測を向上する新しいモデルである。 MMFNetは、時系列を様々なスケールの周波数セグメントに変換し、学習可能なマスクを用いて非関連成分を適応的にフィルタリングすることで、微細で中間的で粗い時間パターンをキャプチャする。
  論文  参考訳（メタデータ） (2024-10-02T22:38:20Z)
• CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
  MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。 分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-03-12T04:04:38Z)
• Frequency-domain MLPs are More Effective Learners in Time Series Forecasting [67.60443290781988]
  時系列予測は、金融、交通、エネルギー、医療など、さまざまな産業領域において重要な役割を果たしてきた。 最多ベースの予測手法は、ポイントワイドマッピングと情報のボトルネックに悩まされる。 本稿では、時系列予測のための周波数領域上に構築された、シンプルで効果的なアーキテクチャであるFreTSを提案する。
  論文  参考訳（メタデータ） (2023-11-10T17:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。