論文の概要: More Experts, Worse Dynamics: Inverse Scaling and Spectral Bias in Mixture-of-Experts State-Space Models

• arxiv url: http://arxiv.org/abs/2608.21840v1
• Date: Sat, 22 Aug 2026 08:22:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.49032
• Title: More Experts, Worse Dynamics: Inverse Scaling and Spectral Bias in Mixture-of-Experts State-Space Models
• Title（参考訳）: より専門的、より悪いダイナミクス: エキスパートの混合状態空間モデルにおける逆スケーリングとスペクトルバイアス
• Abstract要約: 本研究では,3つの規則から構成されるシーケンスの次段階予測課題について検討する。 オペレータレベルの混合モデルは、一貫してシングルエキスパートベースラインを上回りません。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) architectures are commonly motivated as a way to increase expressivity by decomposing complex systems into simpler local dynamics. This intuition has recently been extended to spectral state-space models, where mixing stable operators is assumed to enable adaptation to heterogeneous or regime-switching time series. We critically evaluate this assumption in a controlled synthetic setting designed to isolate dynamical rather than representational challenges. We study a next-step prediction task on sequences composed of three regimes: chaotic dynamics generated by the Mackey-Glass system, a stable oscillatory regime, and a noise-dominated autoregressive regime. Across extensive ablations including capacity scaling, oracle routing, frozen-expert variants, and comparisons to output-level MoE baselines, operator-level mixture models consistently fail to outperform a single-expert baseline. Increasing the number of experts leads to inverse scaling, routing collapses or fails to induce meaningful specialization, and even perfect regime supervision does not prevent degradation in global performance. Furthermore, we show that apparent improvements in mean squared error on chaotic trajectories can be misleading. Phase-space analysis reveals that lower error often arises from temporal smoothing that destroys the geometry of the underlying attractor rather than from faithful modeling of the dynamics. These results identify a likely limitation of operator interpolation under the studied parameterization and training protocol, and underscore the need for geometry-aware evaluation when assessing regime-switching dynamical systems.
• Abstract（参考訳）: Mixture-of-Experts (MoE) アーキテクチャは、複雑なシステムをより単純な局所力学に分解することで、表現性を高める方法として一般的にモチベーションされている。 この直観は近ごろスペクトル状態空間モデルに拡張され、安定作用素を混合することで不均一または規則スイッチング時系列への適応が可能であると仮定されている。 我々は,この仮定を,表現的課題よりも動的に分離するように設計された制御された合成環境において批判的に評価する。 本稿では,マッキーガラス系が生成するカオス力学,安定振動系,雑音に支配された自己回帰系という3つの状態からなる系列の次段階予測課題について検討する。 キャパシティ・スケーリング、オラクル・ルーティング、フリーズ・エキスパート・バリアント、出力レベルのMoEベースラインとの比較など、広範囲にわたる改善を含む、オペレータレベルの混合モデルは、一貫してシングルエキスパートベースラインを上回りません。 専門家の数が増加すると、逆スケーリングやルーティングの崩壊、あるいは意味のある特殊化の誘発に失敗する。 さらに,カオス軌道における平均2乗誤差の明らかな改善は誤解を招く可能性があることを示す。 位相空間解析により、低誤差は時相の滑らか化によって生じることがしばしば示され、これは力学の忠実なモデリングからではなく、基礎となる引力の幾何学を破壊する。 これらの結果から, パラメータ化およびトレーニングプロトコルの下での演算子補間の潜在的な制限を明らかにし, 状態スイッチング力学系の評価における幾何学的評価の必要性を浮き彫りにした。

関連論文リスト

• DAW: Dynamics-Aware Weighting for Deep Learning Forecasts of Chaotic Systems [7.490065985639902]
  データ中心の客観的再重み付けフレームワークであるDynamics-Aware Weighting (DAW)を紹介する。 カオスKS方程式では、DAWは一様トレーニング、純粋に統計的密度重み付け、およびランダムに置換されたアブレーションを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-23T08:07:03Z)
• Learning Spatio-Temporal Foundation Models from Pure Synthetic Data [85.23980441738811]
  NeoSTは、現実バイアスに対するスケーラブルな合成学習コーパスであり、複数の将来の軌跡を反復的に生成・洗練する潜在空間推論アーキテクチャであり、構造的ダイナミクスを強調し、分散シフトの下で推論時間補正を可能にする潜在空間目的である。 様々な実世界のベンチマークによる大規模な実験は、NeoSTが様々な実世界の時間系において既存のSTFMより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2026-06-27T02:56:46Z)
• A Quadratic Order Reduction -- Gaussian Process Ordinary Differential Equation framework for the inference of Large Continuous Dynamical Systems [0.0]
  本稿では,カーネル自律型常微分方程式を用いた複雑な力学系の予測フレームワークを提案する。 安定性を保ちながら,2次次縮小次数モデリングと球面投影を併用し,潜在力学を効率的に学習する。 結果は、厳密な不確実性定量化を伴う複雑な力学系を予測するための頑健で安定したツールとしてのフレームワークの可能性を示す。
  論文  参考訳（メタデータ） (2026-06-11T08:49:18Z)
• PnP-Corrector: A Universal Correction Framework for Coupled Spatiotemporal Forecasting [62.22445401483844]
  既存の手法は複雑なエラーのボトルネックによって厳しく制約されている。 我々は-Cast-Corrector (Plug-and-Play Corrector)と呼ばれる普遍的なフレームワークを提案する。 本手法は,結合予測システムの長期安定性を著しく向上させる。
  論文  参考訳（メタデータ） (2026-05-09T13:12:33Z)
• KoopGen: Koopman Generator Networks for Representing and Predicting Dynamical Systems with Continuous Spectra [65.11254608352982]
  生成元をベースとしたニューラル・クープマン・フレームワークを導入し,構造的かつ状態に依存したクープマン・ジェネレータの表現を通じて動的にモデル化する。 固有のカルテス分解をスキュー結合および自己結合成分に利用することにより、KoopGenは可逆的な散逸から保守的な輸送を分離する。
  論文  参考訳（メタデータ） (2026-02-15T06:32:23Z)
• A Mechanistic Analysis of Transformers for Dynamical Systems [4.590170084532207]
  動的データに適用した場合の単一層変換器の表現能力と限界について検討する。 線形系に対しては、ソフトマックスアテンションによって課される凸性制約が、表現できる力学のクラスを根本的に制限していることが示される。 部分可観測性を持つ非線形系では、注意は適応的な遅延埋め込み機構として機能する。
  論文  参考訳（メタデータ） (2025-12-24T11:21:07Z)
• AERMANI-Diffusion: Regime-Conditioned Diffusion for Dynamics Learning in Aerial Manipulators [2.376629619475859]
  空力マニピュレータは、慣性結合力と空力の迅速かつ構成に依存した変化を行う。 条件付き拡散プロセスと軽量時間エンコーダを用いて残留力の完全な分布をモデル化する状態条件拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-11T16:10:32Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Elucidated Rolling Diffusion Models for Probabilistic Weather Forecasting [52.6508222408558]
  Eucidated Rolling Diffusion Models (ERDM)を紹介する。 ERDMはEucidated Diffusion Models (EDM) の原理的, 性能的設計とローリング予測構造を統一する最初のフレームワークである 2D Navier-StokesシミュレーションとERA5グローバル気象予報の1.5円解像度では、ERDMはキー拡散ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-06-24T21:44:31Z)
• Predicting Forced Responses of Probability Distributions via the Fluctuation-Dissipation Theorem and Generative Modeling [0.0]
  非線形系の高次モーメントの小さな外乱に対する応答を推定するためのデータ駆動型フレームワークを提案する。 GFDTとスコアベース生成モデルを組み合わせて,データから直接システムのスコア関数を推定する。 本手法は, 気候動態に関するいくつかのモデルを用いて検証した。
  論文  参考訳（メタデータ） (2025-04-17T20:54:33Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。