論文の概要: BRANCH-MoE: Balance-Aware Tree Routing for Large Embedding Models

• arxiv url: http://arxiv.org/abs/2610.06725v1
• Date: Mon, 05 Oct 2026 17:15:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 23:20:55.999153
• Title: BRANCH-MoE: Balance-Aware Tree Routing for Large Embedding Models
• Title（参考訳）: BRANCH-MoE:大規模埋め込みモデルのためのバランス対応ツリールーティング
• Abstract要約: bf BRANCH-MoEは、(E)の専門家を二分決定木の葉に配置するルーティングアーキテクチャである(log E)。 その結果,階層的ルーティングはタスク品質とバランスの取れた利用を保ちつつ,局所化された専門家のコアクティベーションとコミュニケーションの削減を支援するトポロジを誘導できることがわかった。
• 参考スコア（独自算出の注目度）: 43.295734442594295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-experts (MoE) layers increase model capacity without a proportional increase in per-example computation. However, conventional flat routers can yield imbalanced expert utilization and treat experts as an unstructured collection, whose indices carry no topological meaning. We introduce {\bf BRANCH-MoE}, a routing architecture that places \(E\) experts at the leaves of a binary decision tree of depth \(\log_2 E\). At each internal node the branching probability is centered on the arrival-weighted mean score of the traffic reaching that node. This mean is estimated using an exponential moving average, which promotes utilization of both child subtrees without an auxiliary load-balancing loss. We show that this moving-average estimate admits an explicit noise-lag trade-off. We prove that for linear node maps and log-concave arrival distributions, this mechanism prevents routing-mass collapse. We further establish that, under a frozen router, an expert's execution frequency controls its stochastic-gradient convergence rate, and that confident decisions near the root bound cross-device communication when experts are assigned to devices by tree prefix. We evaluate BRANCH-MoE against Switch softmax, DeepSeek-V3 dynamic-bias, Skywork logit-normalized, and deterministic hash routing on Criteo click-through-rate prediction, Forest Covertype, HIGGS, and YearPredictionMSD, using \(E=16\), top-\(4\) routing, and five random seeds. Our results show that hierarchical routing can preserve task quality and balanced utilization while inducing a topology that supports localized expert co-activation and reduced communication.
• Abstract（参考訳）: Mixture-of-experts (MoE) レイヤは、サンプル単位の計算量が比例的に増加することなく、モデルのキャパシティを向上する。 しかし、従来の平坦なルータは専門家の不均衡な利用をもたらし、専門家を非構造的なコレクションとして扱い、その指標は位相的意味を持たない。 BRANCH-MoE {\displaystyle {\bf BRANCH-MoE} は、深さ \(\log_2 E\) の二分決定木の葉に \(E\) の専門家を配置するルーティングアーキテクチャである。 各内部ノードにおいて分岐確率は、そのノードに到達するトラフィックの到着重み付き平均スコアに集中する。 この平均は指数移動平均を用いて推定され、補助負荷分散損失を伴わずに両方の子サブツリーの利用を促進する。 この移動平均推定値が明らかにノイズラグのトレードオフを許容することを示す。 線形ノードマップや対数凹面到着分布の場合,この機構はルーティング質量の崩壊を防ぐ。 さらに、凍結ルータの下では、専門家の実行頻度が確率的・漸進的な収束率を制御し、専門家がツリープレフィックスによってデバイスに割り当てられた場合に、ルート境界のデバイス間通信付近で自信のある決定が可能であることを確かめる。 We evaluate BRANCH-MoE against Switch softmax, DeepSeek-V3 dynamic-bias, Skywork logit-normalized, and deterministic hash routing on Criteo click-through-rate prediction, Forest Covertype, HIGGS, and Year PredictionMSD, using \(E=16\), top-\(4\) routing and 5 random seed。 その結果,階層的ルーティングはタスク品質とバランスの取れた利用を保ちつつ,局所化された専門家のコアクティベーションとコミュニケーションの削減を支援するトポロジを誘導できることがわかった。

関連論文リスト

• RoMod: Temporal Routing Modulation via Mixture-of-Experts for Video Anomaly Detection [88.79183771990887]
  異常に関連する証拠が,少数の専門家に集結していることが示唆された。 弱いラベル付きビデオのみ(5%)でトレーニングされた効率的なVADフレームワークであるRoModを提案する。 RoModは最先端のパフォーマンスを実現しつつ、同等サイズの高密度バックボーンよりも大幅に高速に動作します。
  論文  参考訳（メタデータ） (2026-10-04T11:23:14Z)
• Cross-Entropy Guided Routing in Mixture-of-Experts Large Language Models [13.636161694834678]
  スパースルーティングのためのトークンエラー監視を2つの形式で導入する。 最初の形式は、専門家1人当たりのエラースコアを予測します。これらのスコアの親和性の重み付けされた集約は、次のトークンのクロスエントロピー損失に一致します。 第2の方法は、追加のヘッドや推論時間を変更することなく、ルータの親和性を直接モデルの目的に合わせることである。
  論文  参考訳（メタデータ） (2026-09-29T15:00:28Z)
• CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
  本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。 ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。 ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
  論文  参考訳（メタデータ） (2026-09-01T22:49:46Z)
• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• Routing-Aware Explanations for Mixture of Experts Graph Models in Malware Detection [4.437835658886064]
  Mixture-of-Experts (MoE)は、学習ルータを通じてグラフの複数のビューを組み合わせることで、柔軟なグラフ推論を提供する。 制御フローグラフ(CFG)を用いたマルウェア検出におけるMoEグラフモデルのルーティング対応説明について検討する。 ポストホックの説明は、専門家毎のエッジレベルの属性で生成され、ルータゲートを使用して集約される。
  論文  参考訳（メタデータ） (2026-02-22T03:27:17Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• Routing by Analogy: kNN-Augmented Expert Assignment for Mixture-of-Experts [32.65737144630759]
  Mixture-of-Experts (MoE)アーキテクチャは、パラメトリックな"router"を使用して、トークンを専門家のまばらなサブセットにディスパッチすることで、大きな言語モデルを効率的にスケールする。 我々は、類似したケースのメモリから最適な専門家の割り当てを再利用する検索強化ルーティングフレームワークであるkNN-MoEを紹介する。 実験の結果、kNN-MoEはゼロショットベースラインよりも優れており、計算コストのかかる微調整に匹敵することがわかった。
  論文  参考訳（メタデータ） (2026-01-05T14:16:11Z)
• Tight Clusters Make Specialized Experts [1.7597562616011944]
  Sparse Mixture-of-Experts (MoE)アーキテクチャは、計算コストからモデルキャパシティを分離するための有望なアプローチとして登場した。 本稿では,入力トークンを適切な専門家に送信するために,入力分布の基盤となるクラスタリング構造を学習する新しいルータを提案する。 当社のACルータは,1) 収束速度の向上,2) データの破損に対する堅牢性の向上,3) 全体的な性能改善という,MoEモデルに接続した3つの利点を得ることができる。
  論文  参考訳（メタデータ） (2025-02-21T09:10:54Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。