論文の概要: E = T*H/(O+B): A Dimensionless Control Parameter for Mixture-of-Experts Ecology

• arxiv url: http://arxiv.org/abs/2605.06415v1
• Date: Thu, 07 May 2026 15:23:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.938526
• Title: E = T*H/(O+B): A Dimensionless Control Parameter for Mixture-of-Experts Ecology
• Title（参考訳）: E = T*H/(O+B):Mixture-of-Experts Ecologyのための次元レス制御パラメータ
• Abstract要約: E = T*H/(O+B) は、Mixture-of-Experts(MoE)モデルが健全な専門家生態を発達させるか、あるいは死んだ専門家に崩壊するかを予測する無次元制御パラメータである。
• 参考スコア（独自算出の注目度）: 3.288592905610932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce E = T*H/(O+B), a dimensionless control parameter that predicts whether Mixture-of-Experts (MoE) models will develop a healthy expert ecology or collapse into dead experts. E combines four hyperparameters -- routing temperature T, routing entropy weight H, oracle weight O, and balance weight B -- into a single quantity. Through 12 controlled experiments (8 vision, 4 language) totaling over 11,000 training epochs, we establish that E >= 0.5 alone is sufficient to guarantee zero dead experts, removing the necessity for handcrafted load-balancing auxiliary losses. We validate this cross-modally on CIFAR-10, CIFAR-100, TinyImageNet-200, WikiText-2, and WikiText-103. Six additional findings emerge: (1) dead experts can resuscitate -- triggered by balance loss driving router re-exploration; (2) ortho toxicity is dataset-dependent, not universal; (3) task complexity shifts the critical E threshold; (4) model overfitting is decoupled from expert ecological health; (5) three-tier MoE spontaneously collapses into a two-tier functional structure; (6) ecological structure is temperature-invariant across a 50x range. We propose that E serves as a unified diagnostic for MoE training, analogous to the Reynolds number in fluid dynamics.
• Abstract（参考訳）: E = T*H/(O+B) は、Mixture-of-Experts(MoE)モデルが健全な専門家生態を発達させるか、あるいは死んだ専門家に崩壊するかを予測する無次元制御パラメータである。 Eは4つのハイパーパラメータ(ルーティング温度T、ルーティングエントロピー重量H、オラクル重量O、バランス重量B)を1つの量に結合する。 12個の制御実験 (8ビジョン, 4言語) を通じて, E >=0.5単独だけで死亡者ゼロを保証でき, 手作りの負荷分散補助損失を回避できることを確認した。 我々は、CIFAR-10, CIFAR-100, TinyImageNet-200, WikiText-2, WikiText-103上で、これを相互に検証する。 1) 致死的専門家は -- バランス損失駆動ルータの再探索によって引き起こされる -- 再活性化し、(2) 正統的な毒性はデータセット依存であり、普遍的ではない (3) タスク複雑性はクリティカルE閾値をシフトする (4) モデルオーバーフィッティングは専門家の生態的健康から切り離される (5) 3層MoEは自然に2層機能構造に崩壊する (6) 生態構造は50倍の範囲にわたって温度不変である 。 流体力学におけるレイノルズ数に類似したMoEトレーニングの統一診断としてEが有効であることを示す。

関連論文リスト

• SPARC-Net: A Spectral, Causality-Aware, and Hard-Constrained Physics-Informed Architecture for Stiff and Shock-Dominated Partial Differential Equations [0.0654051537828115]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を解くためのメッシュレスアプローチを提供する PINNは、小さなPDE残基が世界規模で不正確な解に対応できる、硬度および衝撃に支配された問題において深刻な劣化を被る。 これらの障害は, (i) スペクトルバイアスと鋭い特徴との同時的相互作用, (ii) 不均衡な多重時間最適化と損失重大崩壊, (iii) 時間的因果性違反, (iv) 未解決のコロケーションから生じる多因果性を示す。 統合アーキテクチャとトレーニングの現在-Net
  論文  参考訳（メタデータ） (2026-07-13T09:23:17Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation Models [63.96252564303143]
  Embodied-R1.5は統合されたEmbodied Foundation Model(EFM)であり、包括的エンボディド推論機能を統合する。 我々は15B以上のトークンからなる大規模データシステムを構築し、マルチタスクバランスのRLレシピを設計する。 8Bパラメータしか持たず、Embodied-R1.5 SOTAは24のVLMベンチマークのうち16で、Gemini-Robotics-ER-1.5やGPT-5.4といった主要なモデルを上回った。
  論文  参考訳（メタデータ） (2026-06-09T18:07:50Z)
• TENP: Trapezoidal Expert Neuron Pruning For Mixture-of-Experts [57.78282303757474]
  TENP(Structured Trapezoidal ExpertNeuron Pruning framework)を提案する。 我々は、重要な専門家を特定し、保持するとともに、重要でない専門家に専門家ニューロンプルーニング(ENP)を適用します。 ENPでは、各ニューロンのプロジェクターのプロジェクター出力に対する寄与を測定し、重要なニューロンを特定し、保持する。
  論文  参考訳（メタデータ） (2026-06-03T07:49:31Z)
• Post-Trained MoE Can Skip Half Experts via Self-Distillation [35.17955778301488]
  Mixture-of-Experts (MoE)は、スパース専門家のアクティベーションを通じて、言語モデルを効率的にスケールする。 MoEの動的変種は、アクティベートされた専門家を入力依存の方法で調整することで、計算をさらに削減する。 本稿では,Zero-Expert Self-Distillation Adaptation (ZEDA)について紹介する。
  論文  参考訳（メタデータ） (2026-05-18T16:50:48Z)
• Channel Adaptation for EEG Foundation Models: A Systematic Benchmark Across Architectures, Tasks, and Training Regimes [0.3199881502576702]
  EEGファンデーションモデルをスケールするには、異種電極モンタージュ間でデータをプールする必要がある。 5つの事前訓練された脳波基礎モデルにおける4つのチャネル適応法の最初の体系的比較を行った。
  論文  参考訳（メタデータ） (2026-04-25T01:10:40Z)
• Three Phases of Expert Routing: How Load Balance Evolves During Mixture-of-Experts Training [0.0]
  トークンルーティングを,バランス品質のトレードオフを定量化するための1つの有効パラメータ gamma_eff の共役ゲームとしてモデル化する。 2つのオープンソースのMoEモデルのトレーニングチェックポイントにわたってγ_effを追跡することで、初期のMoEトレーニングはバランスを優先し、遅いトレーニングは品質を優先することを示す。
  論文  参考訳（メタデータ） (2026-04-05T19:11:22Z)
• Improving Minimax Estimation Rates for Contaminated Mixture of Multinomial Logistic Experts via Expert Heterogeneity [49.809923981964715]
  凍結したエキスパートとして機能する事前訓練されたモデルを、新しいタスクを学ぶためにトレーニング可能なエキスパートとして機能するアダプタモデルに統合するトランスファー学習手法によって、汚染された専門家の混合(MoE)が動機付けられる。 本研究は, 地絡パラメータがサンプルサイズによって異なる困難な条件下で, パラメータを推定するための一様収束率を特徴付ける。 また、対応するミニマックス下限を定め、これらのレートがミニマックス最適であることを保証する。
  論文  参考訳（メタデータ） (2026-01-31T23:45:50Z)
• Coherence Dispersion and Temperature Scales in a Quantum-Biology Toy Model [51.56484100374058]
  量子コヒーレンス(英語版)が任意の量子状態のいくつかの外対角要素の間にどのように散乱するかを考察する。 平衡外システムに焦点をあてることで、我々は開発されたフレームワークを使用して、セル・エネルギティクスの単純化されたモデルに対処する。
  論文  参考訳（メタデータ） (2025-12-13T14:21:34Z)
• Detecting AI Hallucinations in Finance: An Information-Theoretic Method Cuts Hallucination Rate by 92% [4.693270291878929]
  大規模言語モデル(LLMs)は、流動的だがサポートされていない答え、幻覚を生み出す。 ECLIPSEは,モデルの意味エントロピーと利用可能な証拠の容量とのミスマッチとして幻覚を扱うフレームワークである。
  論文  参考訳（メタデータ） (2025-12-02T05:25:48Z)
• Mixture-of-Experts Operator Transformer for Large-Scale PDE Pre-Training [10.466410557724936]
  そこで本研究では,パラメータを効率よくスケールし,推論コストを制御したスパースアクティブアーキテクチャであるMixture-of-Experts Pre-training Operator Transformer(MoE-POT)を提案する。 具体的には、階層的にルータゲーティングネットワークを採用し、推論中に16のエキスパートネットワークから4つのルーティングされた専門家を動的に選択する。 我々は,90Mのアクティベートパラメータを持つモデルにおいて,120Mのアクティベートパラメータを持つ既存モデルと比較して最大40%のゼロショット誤差を低減できることを示す。
  論文  参考訳（メタデータ） (2025-10-29T05:47:41Z)
• Pearl: A Foundation Model for Placing Every Atom in the Right Location [52.35027831422145]
  タンパク質-リガンド共フォールディングの基礎モデルであるPearlを紹介した。 パールはタンパク質-リガンド結合における新しい最先端性能を確立している。 Pearlは、パブリックなRuns N' PosesとPoseBustersベンチマークでAlphaFold 3や他のオープンソースベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-10-28T17:36:51Z)
• Adaptive Physics-Informed Neural Networks with Multi-Category Feature Engineering for Hydrogen Sorption Prediction in Clays, Shales, and Coals [1.5749416770494706]
  本研究では, 適応型物理インフォームドニューラルネットワーク(PINN)フレームワークを導入し, 水素吸着予測を向上する。 PINNは、アダプティブ・ロス関数とモンテカルロ・ドロップアウトにより、不確実な定量化のために最適化された、多面的な注意を伴うディープ・リザーブ・ネットワークを採用している。 このフレームワークは、粘土鉱物、シェール、石炭をまたいだ堅牢なリソロジー特性を示し、85-91%の信頼性スコアを維持している。
  論文  参考訳（メタデータ） (2025-08-24T19:41:33Z)
• ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
  複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。 ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
  論文  参考訳（メタデータ） (2025-03-10T03:15:54Z)
• Finetuning and Quantization of EEG-Based Foundational BioSignal Models on ECG and PPG Data for Blood Pressure Estimation [46.36100528165335]
  光胸腺撮影と心電図は、連続血圧モニタリング(BP)を可能にする可能性がある。 しかし、データ品質と患者固有の要因の変化のため、正確で堅牢な機械学習(ML)モデルは依然として困難である。 本研究では,1つのモータリティで事前学習したモデルを効果的に利用して,異なる信号タイプの精度を向上させる方法について検討する。 本手法は, 拡張期BPの最先端精度を約1.5倍に向上し, 拡張期BPの精度を1.5倍に向上させる。
  論文  参考訳（メタデータ） (2025-02-10T13:33:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。