論文の概要: Super-Linear: A Lightweight Pretrained Mixture of Linear Experts for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2509.15105v1
- Date: Thu, 18 Sep 2025 16:11:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-19 17:26:53.320479
- Title: Super-Linear: A Lightweight Pretrained Mixture of Linear Experts for Time Series Forecasting
- Title(参考訳): Super-Linear: 時系列予測のためのライナーエキスパートの軽量プレトレーニング
- Authors: Liran Nochumsohn, Raz Marshanski, Hedi Zisling, Omri Azencot,
- Abstract要約: 汎用予測のための軽量でスケーラブルなMixed-of-Experts(MoE)モデルであるSuper-Linearを紹介する。
深層アーキテクチャを、複数の周波数レギュレーションにまたがる再サンプリングデータに基づいて訓練された、単純な周波数特化線形エキスパートに置き換える。
優れた効率性、様々なサンプリングレートに対する堅牢性、解釈可能性の向上を提供する。
- 参考スコア(独自算出の注目度): 8.668012341094494
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series forecasting (TSF) is critical in domains like energy, finance, healthcare, and logistics, requiring models that generalize across diverse datasets. Large pre-trained models such as Chronos and Time-MoE show strong zero-shot (ZS) performance but suffer from high computational costs. In this work, We introduce Super-Linear, a lightweight and scalable mixture-of-experts (MoE) model for general forecasting. It replaces deep architectures with simple frequency-specialized linear experts, trained on resampled data across multiple frequency regimes. A lightweight spectral gating mechanism dynamically selects relevant experts, enabling efficient, accurate forecasting. Despite its simplicity, Super-Linear matches state-of-the-art performance while offering superior efficiency, robustness to various sampling rates, and enhanced interpretability. The implementation of Super-Linear is available at \href{https://github.com/azencot-group/SuperLinear}{https://github.com/azencot-group/SuperLinear}
- Abstract(参考訳): 時系列予測(TSF)は、エネルギー、金融、医療、物流といった分野において重要であり、多様なデータセットにまたがる一般化モデルを必要とする。
ChronosやTime-MoEのような訓練済みの大きなモデルでは、ゼロショット(ZS)の性能は高いが、計算コストが高い。
本研究は,汎用予測のための軽量かつスケーラブルなMixed-of-Experts(MoE)モデルであるSuper-Linearを紹介する。
深層アーキテクチャを、複数の周波数レギュレーションにまたがる再サンプリングデータに基づいて訓練された、単純な周波数特化線形エキスパートに置き換える。
軽量なスペクトルゲーティング機構は、関連する専門家を動的に選択し、効率的で正確な予測を可能にする。
その単純さにもかかわらず、Super-Linearは最先端のパフォーマンスと一致し、優れた効率、様々なサンプリングレートに対する堅牢性、解釈可能性の向上を提供する。
Super-Linearの実装は \href{https://github.com/azencot-group/SuperLinear}{https://github.com/azencot-group/SuperLinear} で見ることができる。
関連論文リスト
- FaST: Efficient and Effective Long-Horizon Forecasting for Large-Scale Spatial-Temporal Graphs via Mixture-of-Experts [49.9321870703948]
既存のモデルは、主に短期水平予測に焦点を当てており、悪名高い計算コストとメモリ消費に悩まされている。
本稿では,長期・大規模STG予測のためのMixture-of-Experts(MoEs)に基づく,効率的かつ効率的なフレームワークであるFaSTを提案する。
まず、計算負担を軽減するための適応型グラフエージェントアテンション機構を提案する。
第2に,従来のフィードフォワードネットワークを Gated Linear Units (GLUs) に置き換えた新しい並列MoEモジュールを提案する。
論文 参考訳(メタデータ) (2026-01-08T18:00:58Z) - A Unified Frequency Domain Decomposition Framework for Interpretable and Robust Time Series Forecasting [81.73338008264115]
時系列予測の現在のアプローチは、時間領域であれ周波数領域であれ、主に線形層やトランスフォーマーに基づいたディープラーニングモデルを使用する。
本稿では,多種多様な時系列を数学的に抽象化する統合周波数領域分解フレームワークFIREを提案する。
火は長期予測ベンチマークで最先端のモデルを一貫して上回る。
論文 参考訳(メタデータ) (2025-10-11T09:59:25Z) - SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。
トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
論文 参考訳(メタデータ) (2025-08-07T03:50:48Z) - Breaking Silos: Adaptive Model Fusion Unlocks Better Time Series Forecasting [64.45587649141842]
時系列予測は多くの現実世界のアプリケーションにおいて重要な役割を果たす。
1つのモデルは、異なるテストサンプルで一貫して他よりも優れていますが、(ii) それぞれのモデルは特定のケースで優れています。
異種モデルのサンプルレベル適応融合による時系列予測のためのフレームワークであるTimeFuseを紹介する。
論文 参考訳(メタデータ) (2025-05-24T00:45:07Z) - Bridging Simplicity and Sophistication using GLinear: A Novel Architecture for Enhanced Time Series Prediction [1.52551943336894]
Time Series Forecasting (TSF)は多くの分野において重要なアプリケーションです。
最近の研究では、より単純な線形モデルは、TSFタスクの複雑なTransformerベースのモデルに比べて、性能が優れているか、少なくとも競合する可能性があることが示唆されている。
論文 参考訳(メタデータ) (2025-01-02T06:19:53Z) - Disentangled Interpretable Representation for Efficient Long-term Time Series Forecasting [8.315265596107686]
業界 5.0 が時系列予測(LTSF)の新たな課題を導入
既存のディープラーニングと線形モデルは、しばしば過度の複雑さに悩まされ、直感的に解釈できない。
本稿では,Dentangled Interpretable である DiPE-Linear を提案する。
線形ネットワーク。
論文 参考訳(メタデータ) (2024-11-26T09:33:09Z) - LeMoLE: LLM-Enhanced Mixture of Linear Experts for Time Series Forecasting [9.132953776171808]
本稿では,高精度かつ効率的な時系列予測のための線形エキスパートのLLM混合について紹介する。
線形エキスパートの混合の使用は単純さのため効率的であり、マルチモーダル融合機構は複数の線形エキスパートを適応的に結合する。
実験の結果,提案したLeMoLEモデルは既存のLLMモデルよりも予測誤差が低く,計算効率も高いことがわかった。
論文 参考訳(メタデータ) (2024-11-24T12:40:50Z) - Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。
39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
論文 参考訳(メタデータ) (2024-10-14T13:01:11Z) - SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters [16.966008476215258]
本稿では,長期時系列予測(LTSF)のための新しい,極めて軽量なモデルであるSparseTSFを紹介する。
SparseTSFの中心にはCross-Period Sparse Forecasting技術があり、時系列データの周期性と傾向を分離することで予測タスクを単純化する。
SparseTSFは目覚ましい一般化機能を示しており、限られた計算資源、小さなサンプル、低品質のデータを扱うシナリオに適している。
論文 参考訳(メタデータ) (2024-05-02T02:15:23Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
時系列予測(LTSF)は時系列分析において重要なフロンティアである。
本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。
興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Mixture-of-Linear-Experts for Long-term Time Series Forecasting [13.818468255379969]
線形中心モデルに対するMixture-of-Expertsスタイルの拡張を提案する。
単一のモデルをトレーニングする代わりに、MoLEは複数の線形中心モデルとルータモデルを訓練する。
論文 参考訳(メタデータ) (2023-12-11T19:05:02Z) - Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。