論文の概要: Raw-Routed Mixture of Adapters: A Causal Intervention for Routing Collapse in Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2609.39445v1
• Date: Wed, 30 Sep 2026 10:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.570229
• Title: Raw-Routed Mixture of Adapters: A Causal Intervention for Routing Collapse in Time Series Foundation Models
• Title（参考訳）: 適応器の生間混合:時系列基礎モデルにおける崩壊経路の因果干渉
• Abstract要約: 時系列基礎モデル(TSFM)は、単一のトレーニング可能なヘッドを凍結したバックボーンにアタッチすることで、新しいデータに適応する。 ヘッドを専門家の混在に置き換えることは、標準的なアップグレードだが、インスタンス正規化されたバックボーンでは失敗する。 プリエンコーダの正規化は、ルータがレシエーションを区別する必要がある統計を取り除きます。 raw-Routed Mixture of Adapters (RR-MoA) 経路の正規化前入力
• 参考スコア（独自算出の注目度）: 3.9490204272684877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series foundation models (TSFMs) commonly adapt to new data by attaching a single trainable head to a frozen backbone, a one-size-fits-all setup that underfits heterogeneous regimes. Replacing the head with a mixture of experts is the standard upgrade, but on instance-normalized backbones (the dominant TSFM design class) it fails: routing entropy collapses to zero and one expert absorbs every input, a failure we call normalization-induced routing collapse. Standard MoE rescue mechanisms do not repair it, because the cause is in the router's input, not its optimization. Pre-encoder normalization strips the statistics a router would need to tell regimes apart. A mutual-information decomposition makes this precise and yields a signal-ratio that, computed before training, predicts dataset vulnerability (Spearman $ρ= -0.88$). Eight causal controls, including a vision-modality replication, isolate instance normalization as the cause. The prescription is a minimal causal intervention: Raw-Routed Mixture of Adapters (RR-MoA), which routes on the raw, pre-normalization input. Under a strictly frozen backbone, RR-MoA wins 54/54 comparisons against the strongest fixed adapter and significantly outperforms LoRA, TRACE, AdaMix, and full fine-tuning. The effect generalizes across six backbones and an imputation task. Frozen RR-MoA also beats full fine-tuning by 12-79% (the Frozen Paradox); two architecturally distinct variants confirm the principle generalizes beyond this specific router.
• Abstract（参考訳）: 時系列基礎モデル(TSFM)は、1つの訓練可能なヘッドを凍ったバックボーンに取り付けることで新しいデータに適応する。 しかし、インスタンス正規化されたバックボーン(TSFM設計クラス)では、ルーティングエントロピーがゼロに崩壊し、1人のエキスパートがすべての入力を吸収する。 標準的なMoE救難機構は、ルータの入力に原因があるため、その最適化は行わない。 プリエンコーダの正規化は、ルータがレシエーションを区別する必要がある統計を取り除きます。 相互情報分解がこれを正確にし、トレーニング前に計算された信号比がデータセットの脆弱性を予測する(Spearman $ρ=-0.88$)。 視覚-モダリティレプリケーションを含む8つの因果制御は、インスタンスの正規化を原因として分離する。 Raw-Routed Mixture of Adapters (RR-MoA) は生の正規化前の入力をルートする。 厳密に凍結されたバックボーンの下では、RR-MoAは最強の固定アダプタと比較すると54/54で勝利し、LoRA、TRACE、AdaMix、そしてフル微調整を著しく上回っている。 この効果は6つのバックボーンと計算タスクにまたがって一般化される。 Frozen RR-MoAも12-79%の微調整(Frozen Paradox)を達成している。

関連論文リスト

• Over-the-Air Federated Learning in Heterogeneous Mobile Wireless Networks [56.36166282526799]
  オーバー・ザ・エア(Over-the-air)計算は、無線ネットワークに学習アルゴリズムをデプロイするためのスケーラブルで効率的なソリューションである。 我々は,アルゴリズム正規化を採用し,暗黙のゴシップを通じてデバイスのアップデートを均等に混合するFedOAGを提案する。
  論文  参考訳（メタデータ） (2026-09-26T18:04:09Z)
• Routing Drift Alone Does Not Diagnose Failure in Merged MoE LLMs [27.677249330544296]
  本稿では,制御された対策介入とトークンレベルの分析のためのルーティング解析ツールキットを提案する。 我々は、ルーティング障害を特定のルーティング介入の下でリカバリ可能なtextittask損失として運用し、非ルーティングパラメータを固定する。 そこで本研究では,EmphSelective Router repair (SRR) を事例として提案する。
  論文  参考訳（メタデータ） (2026-09-26T17:47:55Z)
• HERO-MoE: Historical Expert Routing with Scale-Preserving Fusion [51.439927979778965]
  歴史的ルーティング先をMoEルータに注入するルーティングフレームワークであるHERO-MoE, Historical Expert ROuting with Scale-Preserving Fusionを提案する。 HERO-MoEはオリジナルのトークン条件のルーティングブランチを保存し、標準ディスパッチの前に残る履歴ルーティングのコントリビューションを追加する。 実験の結果、HERO-MoE は最終損失を 1.6393 から 1.6184 に減らし、ピークメモリと FLOP はそれぞれ 0.44% と 0.64% に増加した。
  論文  参考訳（メタデータ） (2026-09-26T12:55:50Z)
• When Load-Balancing Goes Too Far: Expert Pruning in Over-Dispersed Mixture-of-Experts Models [14.959514582161956]
  エキスパートプルーニングは、Mixture-of-Experts(MoE)モデルのメモリとサービスコストを削減します。 この仮定は、トークンがほぼ一様に専門家に分散される過分散ルーティングの下で分解されるのを観察する。 筆者らは,現在最も影響の低いドメインに対して,重要度を反復的に向上させるドメイン認識手法であるMinimax Expert Score Allocation (MESA)を提案する。
  論文  参考訳（メタデータ） (2026-09-03T20:21:20Z)
• All Routes Lead to Collapse [0.0]
  注意シンク,表現崩壊,ノルム成層化はトランスフォーマー固有の病態ではないことを示す。 ソフトマックスの注意は、一定の鍵ノルムを持つユークリッド距離上のボルツマン重み付き集約である。
  論文  参考訳（メタデータ） (2026-06-21T03:59:13Z)
• When Model Merging Breaks Routing: Training-Free Calibration for MoE [67.27839627141972]
  Hessian-Aware Router (HARC) は、二階曲率情報を利用してマージされたルータを認識できるトレーニングフリーのフレームワークである。 数学的推論とコード生成タスクの実験は、HARCが様々なMoEマージベースライン間のルーティングの分解を効果的に軽減していることを示している。
  論文  参考訳（メタデータ） (2026-06-02T09:33:33Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• UniRoute: Unified Routing Mixture-of-Experts for Modality-Adaptive Remote Sensing Change Detection [6.323154336421137]
  UniRouteは、モダリティ適応学習のための統一されたフレームワークである。 グローバルな意味的文脈から局所空間の詳細を遠ざけるための適応受容場ルーティングMOEモジュールを提案する。 また,データスカースな異種環境下での統一学習を安定化する一貫性を考慮した自己蒸留手法を提案する。
  論文  参考訳（メタデータ） (2026-01-21T09:21:25Z)
• Dual-Stage Reweighted MoE for Long-Tailed Egocentric Mistake Detection [85.0189917888094]
  本稿では,微妙で頻繁なミスによって生じる課題に対処するため,Dual-Stage Reweighted Mixture-of-Experts (DR-MoE) フレームワークを提案する。 提案手法は,特に稀かつ曖昧な誤りの特定において,高い性能を達成する。
  論文  参考訳（メタデータ） (2025-09-16T12:00:42Z)
• Equilibrated Zeroth-Order Unrolled Deep Networks for Accelerated MRI [14.586911990418624]
  近年,モデル駆動型ディープラーニングは正規化モデルの反復アルゴリズムをカスケードネットワークに展開している。 理論上、一階情報が置換されたネットワークモジュールと一致するような機能正規化器は必ずしも存在しない。 本稿では,ネットワークアンローリングにおけるセーフガード手法を提案する。
  論文  参考訳（メタデータ） (2021-12-18T09:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。