論文の概要: Hierarchical Copula-Gumbel-Top-\texorpdfstring{$K$}{K} Routing: Two-Sided Dependence Control for Frozen Mixture-of-Experts at Fixed Per-Token Routing Laws
- arxiv url: http://arxiv.org/abs/2607.28670v1
- Date: Sat, 25 Jul 2026 12:43:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 16:35:22.206213
- Title: Hierarchical Copula-Gumbel-Top-\texorpdfstring{$K$}{K} Routing: Two-Sided Dependence Control for Frozen Mixture-of-Experts at Fixed Per-Token Routing Laws
- Title（参考訳）: Hierarchical Copula-Gumbel-Top-\texorpdfstring{$K$}{K} Routing: 固定パートーケンルーティング法における凍結混合実験の2次元依存性制御
- Abstract要約: A Gumbel-Top-$K$ router, for every token of a mixed-of-experts (MoE) model, a emphrouting law
両面構成 emphHierarchical Copula-Gumbel-Top-$K$ (CGA) を与える。
- 参考スコア（独自算出の注目度）: 6.555429729518591
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: A stochastic Gumbel-Top-$K$ router defines, for every token of a mixture-of-experts (MoE) model, a \emph{routing law}: a distribution over ordered expert lists and mixture weights. We ask which \emph{joint} distributions over the routing choices of different tokens are reachable while every individual token's complete routing law is held exactly fixed. We give a two-sided construction, \emph{Hierarchical Copula-Gumbel-Top-$K$} (\CGA{}). Within a group of related tokens, an exchangeable Gaussian copula positively correlates the Gumbel perturbations at each expert coordinate, which can increase within-group expert-set coherence. Across disjoint pairs of groups, a tunable antithetic construction introduces a selectable amount of negative dependence. We prove that both operations leave each token's ordered Top-$K$ sample, mixture weights, and inclusion probabilities identical in distribution to independent routing \emph{at a routing layer conditioned on its pre-routing logits}; conditional expected expert traffic is preserved as a consequence. We characterize the resulting trade-off: positive within-group coupling can only inflate the variance of realized expert loads relative to independent routing, while nonnegative cross-group opposition can only reduce it relative to flat coupling at the same within-group strength. Coherence and load dispersion are thus controlled by two complementary dependence dials on the invariance constraint surface. Because the base model is untouched, the dials can be driven by a small controller over frozen features, trainable with a score-function estimator: the frozen network is evaluated only in the forward direction, and gradients are confined to the controller. An initial small-scale pilot validates the mechanism and the training route, but does not establish task-level fine-tuning gains.
- Abstract（参考訳）: 確率的なGumbel-Top-$K$ルータは、ME(Mix-of-experts)モデルのすべてのトークンに対して、順序付きエキスパートリストと混合重み付け上の分布である \emph{routing law} を定義する。
それぞれのトークンの完全なルーティング法則が正確に固定されている間、異なるトークンのルーティング選択に関する \emph{joint} 分布が到達可能であるかを問う。
両面構成を \emph{Hierarchical Copula-Gumbel-Top-$K$} (\CGA{}) とする。
関連するトークン群の中で、交換可能なガウスコプラは、各専門家座標におけるガンベル摂動を正に相関させ、グループ内の専門家集合コヒーレンスを増大させる。
解離対全体において、調整可能なアンチセティック構成は、選択可能な量の負の依存を導入する。
いずれの操作も、各トークンの順序付きTop-K$サンプル、混合重み、包含確率を独立ルーティング \emph{at a routing layer a pre-routing logits} と同一に残しており、条件付き予測された専門家トラフィックは、結果として保存される。
正の群内カップリングは、独立なルーティングに対して実現された専門家負荷の分散を生じさせるだけであり、一方、非負のクロスグループの反対は、同じ内部グループ強度において平坦な結合に対してのみそれを減少させることができる。
これにより、コヒーレンスと負荷分散は、分散制約面上の2つの相補的依存ダイヤルによって制御される。
ベースモデルが非タッチであるため、ダイヤルは小さなコントローラによってフリーズされた特徴によって駆動することができ、スコア関数推定器でトレーニング可能であり、凍結されたネットワークは前方方向のみに評価され、勾配はコントローラに限定される。
初期小規模パイロットは、その機構と訓練経路を検証するが、タスクレベルの微調整利得は確立しない。
関連論文リスト
- Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation [0.9668407688201359]
$N-Ensは正規化に基づく暗黙のアンサンブルで、各メンバーをマルチタスクアーキテクチャのタスクとして扱う。
正規化層のみが複製されるため、このメカニズムは畳み込みやトランスフォーマーのバックボーンを包むことができる。
論文 参考訳（メタデータ） (2026-07-26T22:06:42Z) - CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning [47.406985340436925]
CoCurveはキャリブレーションのみの、微調整なしの手法で、注意とFFNのユニットを共同で刺激する。
これは1つの予算付き二次プログラムに還元され、ラベル、微調整、リカバリを伴わず、共有された注目の下で1ショットで解決される。
論文 参考訳（メタデータ） (2026-07-20T05:27:57Z) - TriRoute: Unified Learned Routing for Joint Adaptive Attention, Experts, and KV-Cache Allocation [0.0]
TriRouteは3つの軸で共有される単一の軽量コントローラである。
不均一な緩和により終端から終端までを運転する。
フルアテンションと高精度キャッシュを文初期位置、まれなサブワード、名前付きエンティティに割り当てる。
論文 参考訳（メタデータ） (2026-07-07T00:12:46Z) - Reward Transport: Property Control in Flow Matching via Noise-Space Alignment [30.541631728490202]
フローマッチングにおける結合は、学習されたフローフィールドに直接制御可能な構造を埋め込むことができることを示す。
トレーニング時に最適な輸送結合を用いて,スカラーノイズ空間座標を分子報酬と整合させるReward Transportを導入する。
実験的に、ZINC-250K と Guaca 上で、スカラーを網羅すると logP の単調な制御と、その動作範囲に対する一貫した QED 制御が誘導される。
論文 参考訳（メタデータ） (2026-06-13T00:17:15Z) - Factored Diffusion Policies:Compositionally Generalized Robot Control with a Single Score Network [1.9171512266305901]
本稿では,各因子のNull-tokenドロップアウトを学習した共有拡散ネットワークについて述べる。
トラジェクトリチューブ証明書は、このスコアレベルをリバースタイムサンプリングODEとトラッキングコントローラを介してクローズドループ状態トラジェクトリチューブにチェーンする。
ドローンレースの実験は、一般化バウンドと証明書の両方を確認します。
論文 参考訳（メタデータ） (2026-05-21T15:13:27Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳（メタデータ） (2026-04-14T09:48:46Z) - Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。
本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
論文 参考訳（メタデータ） (2026-02-09T22:48:30Z) - Interaction as Interference: A Quantum-Inspired Aggregation Approach [4.07636450847048]
我々は、相互作用を、エンジニアリングされた製品用語として、あるいは柔軟なモデルにおける創発的なパターンとして、量子的に着想を得たビューと捉えています。
最小線形振幅モデルでは、この交差項は因子設計における標準電位-出力相互作用コントラスト(_mathrmINT)と等しい。
我々はこのアイデアを軽量なemphInterference Kernel (IKC) にインスタンス化し、emphCoherent Gain (非一貫性プロキシよりもコヒーレントをlog-likelihood gain of coherent)とemphInterという2つの診断手法を導入する。
論文 参考訳（メタデータ） (2025-11-13T06:44:18Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z) - Optimal Clustering with Bandit Feedback [57.672609011609886]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳（メタデータ） (2022-02-09T06:05:05Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。