論文の概要: Beyond the Previous Layer: Residual Predictive Structure in Sparse MoE Routing
- arxiv url: http://arxiv.org/abs/2609.17940v1
- Date: Tue, 15 Sep 2026 23:57:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.575979
- Title: Beyond the Previous Layer: Residual Predictive Structure in Sparse MoE Routing
- Title（参考訳）: 余分なMoEルーティングにおける残差予測構造
- Abstract要約: 凍結したOLMoEモデルとJetMoEモデルを用いて,従来の専門家選択から得られた予測的利得を測定した。
事前登録されたJetMoE複製は、2つの目標深度で0.14275と0.20528の4層ゲインを得る。
これらの結果から, 隣接層の持続性を超えて, 専門家選択軌道の残差予測構造が同定された。
- 参考スコア（独自算出の注目度）: 5.859257028718612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse mixture-of-experts models route each token through a sequence of expert selections. We ask whether the immediately preceding selection adequately summarizes this trajectory for predicting the next router. Using frozen OLMoE and JetMoE models, we measure the held-out predictive gain from earlier expert selections while retaining the most recent selection as a common baseline. In OLMoE, extending the history from one to eleven layers raises router-logit $R^2$ from 0.59879 to 0.66544. A preregistered JetMoE replication yields four-layer gains of 0.14275 and 0.20528 at two target depths, with paired bootstrap intervals above zero. These gains survive nonlinear decoding: adding history to a small multilayer perceptron improves $R^2$ by 0.17137 and 0.21861, whereas nonlinear decoding of the recent state alone adds 0.00139 and 0.00936 over a linear probe. Parameter-matched controls preserve the advantage, and cross-fitted history residuals predict target residuals with $R^2$ of 0.20549 and 0.23556. These findings identify residual predictive structure in expert-selection trajectories beyond adjacent-layer persistence.
- Abstract（参考訳）: スパース・ミックス・オブ・エキスパート・モデルは、専門家選択のシーケンスを通じて各トークンをルーティングする。
先行した選択が次のルータを予測するためにこの軌道を適切に要約するかどうかを問う。
凍結したOLMoEモデルとJetMoEモデルを用いて、最新の選択を共通のベースラインとして保持しながら、初期の専門家選択から保持された予測ゲインを測定する。
OLMoEでは、履歴を1層から11層に拡張すると、ルータログの$R^2$が0.59879から0.66544に上昇する。
事前登録されたJetMoE複製は、2つの目標深度で0.14275と0.20528の4層ゲインを得る。
小さい多層パーセプトロンに履歴を追加すると、R^2$ 0.17137 と 0.21861 が向上する一方、最近の状態のみの非線形復号では線形プローブ上で 0.00139 と 0.00936 が加算される。
パラメータマッチング制御は利点を保ち、クロスフィットした履歴残基はターゲット残基を0.20549と0.23556の$R^2$で予測する。
これらの結果から, 隣接層永続性を超えて, 専門家選択軌道の残差予測構造が同定された。
関連論文リスト
- Rollout-Decoded Reconstruction for Long-Horizon Prediction in Latent World Models [0.9740025522928777]
潜在世界モデルは、観測に固定された潜水器でデコーダを訓練し、最後の観測から何百歩も経過したモデル自身のフリーランニングロールアウトに展開する。
ロールアウト・デコード・レコンストラクション(RDR)はこのギャップを、トレーニング中のモデルを正確に評価するようにフリーランする単一損失項で埋める。
論文 参考訳（メタデータ） (2026-08-25T18:05:24Z) - Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。
我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。
この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
論文 参考訳（メタデータ） (2026-08-01T13:49:46Z) - Scaling Closed-Loop Feature Channel Configuration with LLMs [48.83701310501069]
この分析では,8サイクルから2000件の候補が生成され,タスクおよびメタデータフィルタリング後のCIFAR-100の評価結果が462件得られた。
最良のモデルは11.8Mパラメータで0.3676に達し、初期のハイパフォーマンスモデルは0.3144で166.5Mパラメータである。
検証された候補の41.8%で2つのチャネル幅の非パワーが発生し、最強のモデルではチャネル配置パターンが共有される。
論文 参考訳（メタデータ） (2026-07-07T22:31:53Z) - Active Learning with Low-Rank Structure for Data Selection [85.43185363043362]
低ランク近似と残差に基づくサンプリングに基づく新しいデータ選択フレームワークを提案する。
平均損失がデータセット全体の平均損失を近似した$tildeOleft(k + frac1varepsilon2right)$データポイントの重み付きサブセットを選択することができることを示す。
論文 参考訳（メタデータ） (2026-06-14T22:29:59Z) - Incremental Multistep Forecasting of Battery Degradation Using Pseudo Targets [2.4958651162443943]
iFSNetは、疑似ターゲットを用いたマルチステップ予測を実現するために、シングルパスモード(サンプルバイサンプル)用にFSNetの修正版である。
提案モデルではスムーズな劣化軌道を持つデータセット上で0.00197 RMSEと0.00154 MAEを達成した。
論文 参考訳（メタデータ） (2025-09-19T08:10:46Z) - An Uncertainty Principle for Linear Recurrent Neural Networks [54.13281679205581]
我々は、過去に$K$タイムステップのフィルタを近似する$S$の線形フィルタを構築した。
近似の低い境界と、この定数の低い境界を達成する明示的なフィルタを提供することによって、この問題を完全に特徴づける。
フィルタは過去の$K/S$に比例する範囲(幅)を持つ$K$-thの時間ステップの平均値でなければならない。
論文 参考訳（メタデータ） (2025-02-13T13:01:46Z) - FoMo-0D: A Foundation Model for Zero-shot Tabular Outlier Detection [24.40438381282677]
FoMo-0Dは、表データの0/0ショットODのための事前訓練されたファンデーションモデルである。
パラメータを微調整することなく、テストサンプルの(より低い/より低い)ラベルを直接予測できる。
57の実世界のデータセットに対する実験は、FoMo-0Dが非常に競争力があることを示している。
論文 参考訳（メタデータ） (2024-09-09T14:41:24Z) - Deep Momentum Multi-Marginal Schr\"odinger Bridge [41.27274841596343]
本稿では,時間的限界制約を満たすシステムに対して,スムーズな測度値アルゴリズムを学習する新しいフレームワークを提案する。
我々のアルゴリズムは、合成データセットと実世界の単一細胞RNAデータセットシーケンスの実験によって証明されたように、ベースラインを著しく上回る。
論文 参考訳（メタデータ） (2023-03-03T07:24:38Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Fully Convolutional Online Tracking [47.78513247048846]
我々は、分類と回帰の両方のためにFCOTと呼ばれる完全な畳み込みオンライン追跡フレームワークを提示する。
我々の重要な貢献は、ターゲットフィルタの重みをオンラインサンプルで初期化するオンライン回帰モデル生成器(RMG)の導入である。
RMGのユニークな設計のおかげで、我々のFCOTは時間次元に沿った目標変動の処理に有効であるばかりでなく、より正確な結果を生み出すことができる。
論文 参考訳（メタデータ） (2020-04-15T14:21:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。