論文の概要: Learning What to Share: Expert Specialization for Time-Series Forecasting
- arxiv url: http://arxiv.org/abs/2610.33822v1
- Date: Sat, 24 Oct 2026 17:36:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.454365
- Title: Learning What to Share: Expert Specialization for Time-Series Forecasting
- Title(参考訳): 共有すべきものを学ぶ: 時系列予測のエキスパートスペシャライゼーション
- Abstract要約: 情報チャネルの割り当ては、一致した共有容量とランダムな割り当てを超えた予測を改善することを示す。
永久閉形式ルーティングは、3つの冷凍バックボーンと比較して平均2乗誤差を3.8.25%削減する。
- 参考スコア(独自算出の注目度): 6.639896614747015
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A central challenge in multivariate forecasting is deciding what to share across channels and where to specialize. Mixture-of-experts models offer flexible sharing, yet it remains unclear how much of their forecasting gains comes from added capacity or expert allocation. Through controlled comparisons across eleven datasets and three backbones, we show that informative channel assignments improve forecasting beyond matched shared capacity and random allocation. On frozen transformer backbones, persistent channel-specific mixtures outperform input-dependent routing on average. To examine when and how much specialization helps, we introduce GalaxyTS, a controlled synthetic dataset with exact shared and channel-specific forecasting references. It reveals how persistent channel mixtures exploit predictive differences concealed by short input windows and measures gains over matched shared corrections. These insights motivate Persistent Closed-Form Routing (PCR), a plug-and-play method that alternates exact conditional estimation of channel-specific mixture weights with gradient-based training of low-rank residual experts around a frozen pretrained forecaster. Averaged over four forecasting horizons, PCR-K4 achieves dataset-balanced mean squared error reductions of 3.86-14.25% relative to the three frozen backbones. In matched comparisons, PCR outperforms competing specialization methods on average while requiring substantially fewer trainable parameters.
- Abstract(参考訳): 多変量予測における中心的な課題は、チャネル間で何を共有するか、どこで専門化するかを決めることである。
Mixture-of-expertsモデルはフレキシブルな共有を提供するが、追加のキャパシティや専門家のアロケーションから得られる予測利益のどれかは、まだ不明だ。
11のデータセットと3つのバックボーンの制御された比較により、情報チャネルの割り当ては、一致した共有容量とランダムな割り当てを超えた予測を改善することを示す。
冷凍変圧器のバックボーンでは、持続的なチャネル固有の混合が平均的に入力依存のルーティングより優れている。
専門化がどの程度の助けになるかを調べるため、正確な共有およびチャネル固有の予測基準を持つ制御された合成データセットであるGalaxyTSを紹介した。
チャネル混在が短い入力ウィンドウによって隠された予測的差異をどのように活用するかを明らかにし、一致した共有修正に対する利得を測定する。
これらの知見は、凍結事前訓練された予測器の周囲の低ランクの残留専門家の勾配に基づく訓練と、チャネル固有の混合重量の正確な条件付き推定を交互に行うプラグイン・アンド・プレイ法である、持続的閉鎖型ルーティング(PCR)を動機付けている。
PCR-K4は4つの予測水平線を上回り、3つの凍結したバックボーンと比較して平均2乗誤差が3.86-14.25%減少する。
一致した比較では、PCRは訓練可能なパラメータを著しく少なくしながら、競合する特殊化法を平均的に上回っている。
関連論文リスト
- Proper Scoring Rule-based Diffusion for Probabilistic Weather Forecasting [59.015610520217734]
我々は,コンテキストとその劣化バージョンから,同じ将来状態を予測できる補助的条件記述タスクを導入する。
推測時には、予測器は、完全に破損したエンドポイントにおいて、単一の前方通過で各アンサンブル部材を生成することができる。
論文 参考訳(メタデータ) (2026-09-29T22:47:10Z) - PRIME: Mitigating Subgroup Optimization Competition in Shared CTR Top Networks with Plug-in Residual Input-Conditioned Mixture of Expert [16.073701450851008]
4つのモデルと4つのセマンティックフィールドを持つアバズ上での競合について検討する。
我々は,低ランクの残留専門家を混在させたPRIME(Plug-in Residual Input- Conditioned Mixture of Experts)を紹介する。
論文 参考訳(メタデータ) (2026-08-31T08:37:44Z) - On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳(メタデータ) (2026-08-25T14:55:24Z) - Hierarchical Exponential-Gaussian Mixtures for Watch-Time Distribution Prediction [74.05279072166697]
Exponential-Gaussian Mixture Network (EGMN) は完全な条件WT分布をモデル化する。
EGMNは分散崩壊、コンポーネントの冗長性、不活性成分に弱い。
本稿では,これらの故障モードに対処する階層型指数-ガウス混合(HEGM)モデルを提案する。
論文 参考訳(メタデータ) (2026-08-24T15:06:18Z) - DeRegiME: Deep Regime Mixtures for Probabilistic Forecasting under Distribution Shift [10.952188121974613]
DeRegiMEは、直接マルチホライズン確率予測器である。
潜伏した不確実性体制と根底にある信号とを分離する。
各予測位置を学習された繰り返しレジームに割り当てる。
論文 参考訳(メタデータ) (2026-05-19T01:04:21Z) - RareCP: Regime-Aware Retrieval for Efficient Conformal Prediction [11.259098206661077]
本稿では適応型コンフォーマル時系列予測のためのレギュレーション対応検索手法であるRareCPを紹介する。
RareCPはコサイン・アテンションの専門家の混合を通して局所的なキャリブレーション表現を学習する。
符号付き残基上に重み付き共形量子が形成され、非対称な予測間隔が生じる。
論文 参考訳(メタデータ) (2026-05-09T10:12:07Z) - Channel-aware Contrastive Conditional Diffusion for Multivariate Probabilistic Time Series Forecasting [19.383395337330082]
本稿では,CCDM(Contrastive Conditional Diffusion)モデルを提案する。
提案したCCDMは,現在最先端の拡散予測器と比較して優れた予測能力を示すことができる。
論文 参考訳(メタデータ) (2024-10-03T03:13:15Z) - Uncertainty Voting Ensemble for Imbalanced Deep Regression [20.176217123752465]
本稿では,不均衡なデータから学習するUVOTEを紹介する。
従来の回帰損失を負の対数類似度に置き換え、サンプルワイドのアレタリックな不確実性も予測する。
UVOTEは先行技術より一貫して優れており、同時に精度のよい不確実性評価が得られている。
論文 参考訳(メタデータ) (2023-05-24T14:12:21Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial
Estimation [109.11580756757611]
メンバー間の多様性のおかげで、ディープアンサンブルは単一のネットワークよりもパフォーマンスが良い。
最近のアプローチでは、多様性を高めるための予測を規則化していますが、個々のメンバーのパフォーマンスも大幅に減少します。
DICEと呼ばれる新しいトレーニング基準を導入し、特徴間の素早い相関を減らして多様性を高める。
論文 参考訳(メタデータ) (2021-01-14T10:53:26Z) - Probabilistic electric load forecasting through Bayesian Mixture Density
Networks [70.50488907591463]
確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。
ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。
後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
論文 参考訳(メタデータ) (2020-12-23T16:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。