Fugu-MT 論文翻訳(概要): Fast Training of Mixture-of-Experts for Time Series Forecasting via Expert Loss Integration

論文の概要: Fast Training of Mixture-of-Experts for Time Series Forecasting via Expert Loss Integration

arxiv url: http://arxiv.org/abs/2605.10330v1
Date: Mon, 11 May 2026 10:33:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-12 23:28:50.733249
Title: Fast Training of Mixture-of-Experts for Time Series Forecasting via Expert Loss Integration
Title（参考訳）: エキスパートロス統合による時系列予測のためのミックス・オブ・エキスパートの高速学習
Authors: Btissame El Mahtout, Florian Ziel,
Abstract要約: 本稿では,専門家の専門性を高めた時系列予測のための適応型Mixture-of-Experts(MoE)フレームワークを提案する。全体的な目的は、基本的な予測損失と専門家特有の損失から成り、専門家レベルの予測エラーが共同でトレーニングを形作ることができる。このフレームワークはさらに、部分的なオンライン学習戦略と組み合わせて、ゲーティングメカニズムとエキスパートパラメータの両方をインクリメンタルに更新することができる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a novel adaptive Mixture-of-Experts (MoE) framework for time series forecasting that enhances expert specialization by incorporating expert-specific loss information directly into the training process. Notably, the overall objective comprises the base forecasting loss and expert-specific losses, allowing expert-level prediction errors to jointly shape training alongside the global forecasting loss. This framework is further combined with a partial online learning strategy, enabling incremental updates of both the gating mechanism and expert parameters. This approach significantly reduces computational cost by eliminating the need for repeated full model retraining. By integrating expert-level loss awareness with efficient online optimization, the proposed method achieves improved learning efficiency while maintaining strong predictive performance. Empirical results across economic, tourism, and energy datasets with varying frequencies demonstrate that the proposed approach generally outperforms both statistical methods and state-of-the-art neural network models, such as Transformers and WaveNet, in forecasting accuracy and computational efficiency. Furthermore, ablation studies confirm the effectiveness of the expert-specific loss integration strategy, highlighting its contribution to enhancing predictive performance.
Abstract（参考訳）: 本稿では,専門家固有の損失情報をトレーニングプロセスに直接組み込むことで,専門家の専門性を向上する時系列予測のための適応型Mixture-of-Experts(MoE)フレームワークを提案する。特に、全体的な目的は、基本的な予測損失と専門家特有の損失から成り、専門家レベルの予測エラーが、グローバルな予測損失と共にトレーニングを共同で形作ることができる。このフレームワークはさらに、部分的なオンライン学習戦略と組み合わせて、ゲーティングメカニズムとエキスパートパラメータの両方をインクリメンタルに更新することができる。このアプローチは、反復的なフルモデル再トレーニングの必要性を排除し、計算コストを大幅に削減する。専門家レベルの損失認識と効率的なオンライン最適化を統合することにより,高い予測性能を維持しながら学習効率の向上を実現する。様々な頻度で経済、観光、エネルギーのデータセットにまたがる実証的な結果は、提案手法が精度と計算効率の予測において、統計手法とトランスフォーマーやウェーブネットのような最先端のニューラルネットワークモデルの両方を上回っていることを示している。さらに、アブレーション研究は、専門家固有の損失統合戦略の有効性を確認し、予測性能の向上への貢献を強調した。

関連論文リスト

Efficient Prompt Learning for Traffic Forecasting [78.86991846411793]
我々は、SimpleSTという、訓練済みの時間GNNに適応するための軽量でモデルに依存しないプロンプトチューニングフレームワークを導入する。適応のオーバーヘッドと複雑さを減らし、事前学習されたモデルのアウト・ディストリビューション・一般化を効率的に利用できるようにする。
論文参考訳（メタデータ） (2026-05-08T03:45:51Z)
Optimized Deferral for Imbalanced Settings [52.48138985215643]
学習アルゴリズムは、複雑な入力や不確実な入力を専門の専門家にルーティングすることで、大幅に改善することができる。遅延学習として知られるこのアプローチは、自然言語生成、診断、コンピュータビジョンといった領域において不可欠である。本稿では,専門家の不均衡な環境下での2段階学習の遅延に関する総合的研究について述べる。
論文参考訳（メタデータ） (2026-04-30T11:15:37Z)
Iterative Pretraining Framework for Interatomic Potentials [46.53683458224917]
MLIPモデルの予測性能を向上させるために, 原子間ポテンシャルの反復事前学習(IPIP)を提案する。 IPIPは、反復訓練が最適な局所最小値に収束するのを防ぐための、忘れるメカニズムを組み込んでいる。汎用力場と比較すると,Mo-S-Oシステムでは予測誤差が80%以上減少し,最大4倍の高速化を実現している。
論文参考訳（メタデータ） (2025-07-27T03:59:41Z)
DMPCN: Dynamic Modulated Predictive Coding Network with Hybrid Feedback Representations [2.9923113351846076]
本稿では,深部予測符号化ネットワークのための動的変調を用いたハイブリッド予測誤差フィードバック機構を提案する。また,高精度な予測誤差最小化に着目して精度を向上させるために,このフレームワークに適した損失関数を提案する。実験により, モデルが他の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2025-04-20T16:14:07Z)
E2ED^2:Direct Mapping from Noise to Data for Enhanced Diffusion Models [15.270657838960114]
拡散モデルは、視覚的生成モデリングにおけるデファクト・プライマリ・パラダイムとして確立されてきた。最終生成サンプルから初期雑音への直接最適化を実現する新しいエンドツーエンド学習パラダイムを提案する。 Fr'eche't Inception Distance (FID) と CLIP のスコアは,サンプリングステップが少なくても大幅に向上する。
論文参考訳（メタデータ） (2024-12-30T16:06:31Z)
Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文参考訳（メタデータ） (2024-07-28T19:18:59Z)
Accelerating Neural Network Training: A Brief Review [0.5825410941577593]
本研究では,ディープニューラルネットワーク(DNN)の学習過程を高速化するための革新的なアプローチについて検討する。この研究は、グラディエント累積(GA)、自動混合精度(AMP)、ピンメモリ(PM)などの高度な手法を利用する。
論文参考訳（メタデータ） (2023-12-15T18:43:45Z)
Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文参考訳（メタデータ） (2023-02-23T18:57:14Z)
Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文参考訳（メタデータ） (2021-05-10T08:02:27Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。