論文の概要: MoDEx: Mixture of Depth-specific Experts for Multivariate Long-term Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2602.00624v1
• Date: Sat, 31 Jan 2026 09:37:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.29752
• Title: MoDEx: Mixture of Depth-specific Experts for Multivariate Long-term Time Series Forecasting
• Title（参考訳）: MoDEx:多変量長期予測のための深さ特化専門家の混在
• Authors: Hyekyung Yoon, Minhyuk Lee, Imseung Park, Myungjoo Kang,
• Abstract要約: グラッドCAMと有効受容場理論にインスパイアされた勾配に基づく計量である層感度を導入する。 このメトリクスを3層バックボーンに適用すると、時間力学のモデリングにおける深度固有の専門知識が明らかになる。 MoDExは7つの実世界のベンチマークで精度を達成し、78%のケースでランクインしている。
• 参考スコア（独自算出の注目度）: 13.403948071904628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multivariate long-term time series forecasting (LTSF) supports critical applications such as traffic-flow management, solar-power scheduling, and electricity-transformer monitoring. The existing LTSF paradigms follow a three-stage pipeline of embedding, backbone refinement, and long-horizon prediction. However, the behaviors of individual backbone layers remain underexplored. We introduce layer sensitivity, a gradient-based metric inspired by GradCAM and effective receptive field theory, which quantifies both positive and negative contributions of each time point to a layer's latent features. Applying this metric to a three-layer MLP backbone reveals depth-specific specialization in modeling temporal dynamics in the input sequence. Motivated by these insights, we propose MoDEx, a lightweight Mixture of Depth-specific Experts, which replaces complex backbones with depth-specific MLP experts. MoDEx achieves state-of-the-art accuracy on seven real-world benchmarks, ranking first in 78 percent of cases, while using significantly fewer parameters and computational resources. It also integrates seamlessly into transformer variants, consistently boosting their performance and demonstrating robust generalizability as an efficient and high-performance LTSF framework.
• Abstract（参考訳）: 多変量長期時系列予測(LTSF)は、トラフィックフロー管理、太陽電力スケジューリング、電気変圧器監視といった重要な応用をサポートする。 既存のLTSFパラダイムは、埋め込み、バックボーンの改良、長い水平予測という3段階のパイプラインに従っている。 しかし、個々の背骨層の挙動は未解明のままである。 本稿では,GradCAMにインスパイアされた勾配に基づく尺度である層感度と,各時間点の潜在特性に対する正と負の両方の寄与を定量化する有効受容場理論を紹介する。 この計量を3層MLPバックボーンに適用すると、入力シーケンスの時間ダイナミクスをモデル化する際、深度特異的な特殊化が明らかになる。 これらの知見に触発されて,複雑なバックボーンを深度特異的なMLP専門家に置き換える,深度特異的エキスパートの軽量混合であるMoDExを提案する。 MoDExは7つの実世界のベンチマークで最先端の精度を達成し、78%のケースでランクインし、パラメータや計算リソースをはるかに少なくしている。 また、トランスフォーマーにシームレスに統合され、パフォーマンスを継続的に向上し、効率的で高性能なLTSFフレームワークとして堅牢な一般化性を示す。

関連論文リスト

• MoHETS: Long-term Time Series Forecasting with Mixture-of-Heterogeneous-Experts [0.8292000624465587]
  実世界の時系列は、グローバルな傾向、局所的な周期性、非定常的な体制を含む複雑なマルチスケール構造を示すことができる。 MoHETSはSparse Mixture-of-Heterogeneous-Expertsレイヤを統合している。 パラメータ重リニアプロジェクションヘッドを軽量な畳み込みパッチデコーダに置き換える。
  論文  参考訳（メタデータ） (2026-01-29T15:35:26Z)
• MGTS-Net: Exploring Graph-Enhanced Multimodal Fusion for Augmented Time Series Forecasting [1.7077661158850292]
  時系列予測のためのマルチモーダルグラフ強化ネットワークMGTS-Netを提案する。 モデルは,(1)マルチモーダル特徴抽出層(MFE),(2)マルチモーダル特徴融合層(MFF),(3)マルチスケール予測層(MSP)の3つのコアコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-10-18T04:47:10Z)
• A Multi-scale Representation Learning Framework for Long-Term Time Series Forecasting [6.344911113059126]
  長期時系列予測(LTSF)は、エネルギー消費や天気予報といった実用的な設定において幅広い用途を提供する。 この研究は、多粒度情報の最適部分利用を含むLTSFの重要な問題に直面している。 提案手法は,様々なスケールにわたる明瞭で同時的な予測を用いて,複雑な時間的ダイナミクスを適切に解き放つ。
  論文  参考訳（メタデータ） (2025-05-13T03:26:44Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling with Self-Distillation for Long-Term Forecasting [17.70984737213973]
  HiMTMは長期予測のための自己蒸留を用いた階層型マルチスケールマスク時系列モデリングである。 HiMTMは,(1)階層型マルチスケールトランスフォーマー (HMT) と,2) エンコーダを特徴抽出へ向ける分離エンコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダ(DED)デコンダデコーダデコンダデコーダデコーダデコーダデコンダデコーダ(DED) の4つのキーコンポーネントを統合する。 7つの主流データセットの実験によると、HiMTMは最先端の自己教師とエンドツーエンドの学習手法を3.16-68.54%上回っている。
  論文  参考訳（メタデータ） (2024-01-10T09:00:03Z)
• On the Long Range Abilities of Transformers [69.3021852589771]
  トランスアーキテクチャの変更を最小限に抑えることで,Long Range Arenaベンチマークの性能を大幅に向上させることができることを示す。 長距離タスクの2つの鍵となる原理(すなわち、滑らか性に対する帰納的バイアス)と局所性(すなわち、局所性)である。 以下に示すように、これらのアイデアを注意機構に組み込むことで、追加の計算量や追加のトレーニング可能なパラメータなしで結果を改善することができる。
  論文  参考訳（メタデータ） (2023-11-28T09:21:48Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。