論文の概要: E = T*H/(O+B): A Dimensionless Control Parameter for Mixture-of-Experts Ecology
- arxiv url: http://arxiv.org/abs/2605.06415v1
- Date: Thu, 07 May 2026 15:23:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.938526
- Title: E = T*H/(O+B): A Dimensionless Control Parameter for Mixture-of-Experts Ecology
- Title（参考訳）: E = T*H/(O+B):Mixture-of-Experts Ecologyのための次元レス制御パラメータ
- Authors: Qingjun Zhang,
- Abstract要約: E = T*H/(O+B) は、Mixture-of-Experts(MoE)モデルが健全な専門家生態を発達させるか、あるいは死んだ専門家に崩壊するかを予測する無次元制御パラメータである。
- 参考スコア（独自算出の注目度）: 3.288592905610932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce E = T*H/(O+B), a dimensionless control parameter that predicts whether Mixture-of-Experts (MoE) models will develop a healthy expert ecology or collapse into dead experts. E combines four hyperparameters -- routing temperature T, routing entropy weight H, oracle weight O, and balance weight B -- into a single quantity. Through 12 controlled experiments (8 vision, 4 language) totaling over 11,000 training epochs, we establish that E >= 0.5 alone is sufficient to guarantee zero dead experts, removing the necessity for handcrafted load-balancing auxiliary losses. We validate this cross-modally on CIFAR-10, CIFAR-100, TinyImageNet-200, WikiText-2, and WikiText-103. Six additional findings emerge: (1) dead experts can resuscitate -- triggered by balance loss driving router re-exploration; (2) ortho toxicity is dataset-dependent, not universal; (3) task complexity shifts the critical E threshold; (4) model overfitting is decoupled from expert ecological health; (5) three-tier MoE spontaneously collapses into a two-tier functional structure; (6) ecological structure is temperature-invariant across a 50x range. We propose that E serves as a unified diagnostic for MoE training, analogous to the Reynolds number in fluid dynamics.
- Abstract（参考訳）: E = T*H/(O+B) は、Mixture-of-Experts(MoE)モデルが健全な専門家生態を発達させるか、あるいは死んだ専門家に崩壊するかを予測する無次元制御パラメータである。
Eは4つのハイパーパラメータ(ルーティング温度T、ルーティングエントロピー重量H、オラクル重量O、バランス重量B)を1つの量に結合する。
12個の制御実験 (8ビジョン, 4言語) を通じて, E >=0.5単独だけで死亡者ゼロを保証でき, 手作りの負荷分散補助損失を回避できることを確認した。
我々は、CIFAR-10, CIFAR-100, TinyImageNet-200, WikiText-2, WikiText-103上で、これを相互に検証する。
1) 致死的専門家は -- バランス損失駆動ルータの再探索によって引き起こされる -- 再活性化し、(2) 正統的な毒性はデータセット依存であり、普遍的ではない (3) タスク複雑性はクリティカルE閾値をシフトする (4) モデルオーバーフィッティングは専門家の生態的健康から切り離される (5) 3層MoEは自然に2層機能構造に崩壊する (6) 生態構造は50倍の範囲にわたって温度不変である 。
流体力学におけるレイノルズ数に類似したMoEトレーニングの統一診断としてEが有効であることを示す。
関連論文リスト
- Channel Adaptation for EEG Foundation Models: A Systematic Benchmark Across Architectures, Tasks, and Training Regimes [0.3199881502576702]
EEGファンデーションモデルをスケールするには、異種電極モンタージュ間でデータをプールする必要がある。
5つの事前訓練された脳波基礎モデルにおける4つのチャネル適応法の最初の体系的比較を行った。
論文 参考訳（メタデータ） (2026-04-25T01:10:40Z) - Three Phases of Expert Routing: How Load Balance Evolves During Mixture-of-Experts Training [0.0]
トークンルーティングを,バランス品質のトレードオフを定量化するための1つの有効パラメータ gamma_eff の共役ゲームとしてモデル化する。
2つのオープンソースのMoEモデルのトレーニングチェックポイントにわたってγ_effを追跡することで、初期のMoEトレーニングはバランスを優先し、遅いトレーニングは品質を優先することを示す。
論文 参考訳（メタデータ） (2026-04-05T19:11:22Z) - Improving Minimax Estimation Rates for Contaminated Mixture of Multinomial Logistic Experts via Expert Heterogeneity [49.809923981964715]
凍結したエキスパートとして機能する事前訓練されたモデルを、新しいタスクを学ぶためにトレーニング可能なエキスパートとして機能するアダプタモデルに統合するトランスファー学習手法によって、汚染された専門家の混合(MoE)が動機付けられる。
本研究は, 地絡パラメータがサンプルサイズによって異なる困難な条件下で, パラメータを推定するための一様収束率を特徴付ける。
また、対応するミニマックス下限を定め、これらのレートがミニマックス最適であることを保証する。
論文 参考訳（メタデータ） (2026-01-31T23:45:50Z) - Coherence Dispersion and Temperature Scales in a Quantum-Biology Toy Model [51.56484100374058]
量子コヒーレンス(英語版)が任意の量子状態のいくつかの外対角要素の間にどのように散乱するかを考察する。
平衡外システムに焦点をあてることで、我々は開発されたフレームワークを使用して、セル・エネルギティクスの単純化されたモデルに対処する。
論文 参考訳（メタデータ） (2025-12-13T14:21:34Z) - Detecting AI Hallucinations in Finance: An Information-Theoretic Method Cuts Hallucination Rate by 92% [4.693270291878929]
大規模言語モデル(LLMs)は、流動的だがサポートされていない答え、幻覚を生み出す。
ECLIPSEは,モデルの意味エントロピーと利用可能な証拠の容量とのミスマッチとして幻覚を扱うフレームワークである。
論文 参考訳（メタデータ） (2025-12-02T05:25:48Z) - Mixture-of-Experts Operator Transformer for Large-Scale PDE Pre-Training [10.466410557724936]
そこで本研究では,パラメータを効率よくスケールし,推論コストを制御したスパースアクティブアーキテクチャであるMixture-of-Experts Pre-training Operator Transformer(MoE-POT)を提案する。
具体的には、階層的にルータゲーティングネットワークを採用し、推論中に16のエキスパートネットワークから4つのルーティングされた専門家を動的に選択する。
我々は,90Mのアクティベートパラメータを持つモデルにおいて,120Mのアクティベートパラメータを持つ既存モデルと比較して最大40%のゼロショット誤差を低減できることを示す。
論文 参考訳（メタデータ） (2025-10-29T05:47:41Z) - Pearl: A Foundation Model for Placing Every Atom in the Right Location [52.35027831422145]
タンパク質-リガンド共フォールディングの基礎モデルであるPearlを紹介した。
パールはタンパク質-リガンド結合における新しい最先端性能を確立している。
Pearlは、パブリックなRuns N' PosesとPoseBustersベンチマークでAlphaFold 3や他のオープンソースベースラインを上回っている。
論文 参考訳（メタデータ） (2025-10-28T17:36:51Z) - Adaptive Physics-Informed Neural Networks with Multi-Category Feature Engineering for Hydrogen Sorption Prediction in Clays, Shales, and Coals [1.5749416770494706]
本研究では, 適応型物理インフォームドニューラルネットワーク(PINN)フレームワークを導入し, 水素吸着予測を向上する。
PINNは、アダプティブ・ロス関数とモンテカルロ・ドロップアウトにより、不確実な定量化のために最適化された、多面的な注意を伴うディープ・リザーブ・ネットワークを採用している。
このフレームワークは、粘土鉱物、シェール、石炭をまたいだ堅牢なリソロジー特性を示し、85-91%の信頼性スコアを維持している。
論文 参考訳（メタデータ） (2025-08-24T19:41:33Z) - ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。
ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
論文 参考訳（メタデータ） (2025-03-10T03:15:54Z) - Finetuning and Quantization of EEG-Based Foundational BioSignal Models on ECG and PPG Data for Blood Pressure Estimation [46.36100528165335]
光胸腺撮影と心電図は、連続血圧モニタリング(BP)を可能にする可能性がある。
しかし、データ品質と患者固有の要因の変化のため、正確で堅牢な機械学習(ML)モデルは依然として困難である。
本研究では,1つのモータリティで事前学習したモデルを効果的に利用して,異なる信号タイプの精度を向上させる方法について検討する。
本手法は, 拡張期BPの最先端精度を約1.5倍に向上し, 拡張期BPの精度を1.5倍に向上させる。
論文 参考訳（メタデータ） (2025-02-10T13:33:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。