論文の概要: Is MoE Routing a Huffman Code? Discovering the Frequency-Diversity Law in Chain-of-Thought

• arxiv url: http://arxiv.org/abs/2607.20427v1
• Date: Fri, 08 May 2026 16:55:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.155259
• Title: Is MoE Routing a Huffman Code? Discovering the Frequency-Diversity Law in Chain-of-Thought
• Title（参考訳）: MoEはハフマン符号をルーティングしているか?
• Abstract要約: MoEルーティングは単なる選択ではなく、Huffman Codingのマニフェストである。 周波数ダイバーシティ法を導入し、最先端のモデルが情報理論のエンジンとして機能することを明らかにする。 機能的重複を排除するために,サブセット差分法を提案する。
• 参考スコア（独自算出の注目度）: 19.416115662463554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts architectures have revolutionized scaling, yet the underlying logic of their routing remains a black box. In this paper, we uncover a fundamental governing principle: MoE routing is not merely selection, but a manifestation of Huffman Coding. We introduce the Frequency-Diversity Law, revealing that state-of-the-art models, such as Phi-3.5-MoE and Gemma-4-27B-A4B, spontaneously act as information-theoretic engines. These models allocate sparse expert resources for common tokens while invoking high-diversity expert committees for rare, complex tasks found in chain-of-thought trajectories. However, we identify a critical redundancy trap in Qwen3.5-35B-A3B: when effective sparsity (k/E_eff) is sufficiently low, load-balancing inadvertently imposes functional redundancy, masking the underlying Huffman efficiency signal. To bridge this gap, we propose Subset Difference Pruning, a surgical strategy to eliminate functional duplicates. We demonstrate that pruning does not degrade reasoning; instead, it unleashes the model's latent Huffman efficiency, forcing the logic to collapse into streamlined, high-density paths. Our findings suggest that the next generation of MoEs should move beyond forced load-balancing toward Minimum Description Length (MDL) optimality, assigning shorter expert-routing codes to high-frequency information and longer, more diverse codes to low-frequency information, thereby transforming routing from a heuristic into a principled compression engine.
• Abstract（参考訳）: Mixture-of-Expertsアーキテクチャはスケーリングに革命をもたらしたが、ルーティングの基盤となるロジックはブラックボックスのままである。 本稿では,MoEルーティングは単なる選択ではなく,ハフマン符号化の表現である,という基本的なルールを明らかにする。 我々は、Phi-3.5-MoEやGemma-4-27B-A4Bのような最先端のモデルが、自然に情報理論エンジンとして機能することを明らかにする。 これらのモデルは、共通トークンに対してスパース専門家リソースを割り当て、また、チェーンオブトラジェクトリで見られる稀で複雑なタスクのために、高多様性専門家委員会を起動する。 しかし,Qwen3.5-35B-A3Bでは,有効間隔(k/E_eff)が十分に低い場合,負荷分散は機能的冗長性を必然的に課し,基礎となるHuffman効率信号を隠蔽する。 このギャップを埋めるため,機能的重複を取り除くための手術戦略であるサブセット差分法を提案する。 プルーニングは推論を劣化させるものではなく、代わりにモデルの潜在するハフマン効率を解放し、論理を合理化して高密度パスに分解させる。 この結果から,次世代のMoEは負荷分散を超越して最小記述長(MDL)の最適性に移行し,より短い専門家引き抜き符号を高周波情報に割り当てるとともに,より多種多様な符号を低周波情報に割り当てることで,ヒューリスティックからのルーティングを基本圧縮エンジンに変換することが示唆された。

関連論文リスト

• Empowering Compact LLMs with Fusion of Layer-wise Exits for Recommendation [59.216721553953]
  大規模言語モデルベースレコメンデータシステム(LLM-RS)は目覚ましい能力を示しているが、現実の多くのアプリケーションでは計算的に持続不可能である。 本稿では,スケーラブルなフルコーパスランキングを維持しつつ,コンパクトなLLMを向上する識別フレームワークを提案する。 Qwen 3 1.7BとLlama 3.2 3Bの3つの実世界のデータセットの実験では、FLEXRecは高い効率を維持しながら最先端の精度を達成している。
  論文  参考訳（メタデータ） (2026-08-18T03:14:28Z)
• Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
  LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。 この定式化がモデリングのボトルネックを生み出すことを示す。 コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
  論文  参考訳（メタデータ） (2026-05-14T18:30:10Z)
• Sparse Mixture-of-Experts Routing in Visual Diffusion Transformers:Diagnosis, Boundary Calibration and Evolutionary Roadmap from Routing Collapse to Selective Deadlock [0.0]
  本稿では,ビデオ拡散変換器におけるToken-Choice sparse Mixture-of-Experts(MoE)の学習障害モードを系統的に診断する。 ルーティングされた専門家は元のFFN重みを正確にクローンし、共有された専門家は検証のためにゼロに、そして実際のトレーニングのために極端に小さな非ゼロノイズに変換する。
  論文  参考訳（メタデータ） (2026-05-12T17:57:13Z)
• Multi-Head Attention as a Source of Catastrophic Forgetting in MoE Transformers [28.800065959523696]
  Mixture-of-Experts (MoE)アーキテクチャは、継続的学習に適していると考えられていることが多い。 本稿では,MH-MoEを提案する。このMH-MoEは,部分表現を頭部的にルーティングすることで,ルーティングの粒度を増大させ,合成衝突を低減する。
  論文  参考訳（メタデータ） (2026-02-13T03:59:09Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• Directional Reasoning Injection for Fine-Tuning MLLMs [51.53222423215055]
  マルチモーダルな大言語モデル(MLLM)は急速に進歩しているが、その推論能力は強いテキストのみのモデルよりも遅れていることが多い。 このギャップを埋める既存の方法は、大規模マルチモーダル推論データや強化学習の監督された微調整に依存している。 この問題を解決するために,DRIFT(Directional Reasoning Injection for Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T18:06:46Z)
• FlyLoRA: Boosting Task Decoupling and Parameter Efficiency via Implicit Rank-Wise Mixture-of-Experts [44.21416999726094]
  Low-Rank Adaptation (LoRA) は基礎モデルのパラメータ効率の高い微調整法である。 MoEベースのLoRA変種は、単一タスクの命令チューニングにおいて、タスク内相関を緩和する。 FlyLoRA は暗黙の MoE ベースの LoRA 変種であり、アッププロジェクション行列にランクワイズの専門家アクティベーションを導入する。
  論文  参考訳（メタデータ） (2025-10-09T16:17:13Z)
• Semantic-Aware Fuzzing: An Empirical Framework for LLM-Guided, Reasoning-Driven Input Mutation [0.5336076422485075]
  インターネット・オブ・Thingsデバイス、モバイル・プラットフォーム、自律システムのセキュリティ上の脆弱性は依然として重要だ。 従来の突然変異ベースのファジィザは、主に意味論的推論なしでバイトやビットレベルの編集を行う。 本稿では,Google の FuzzBench 上で LLM を AFL++ に統合するオープンソースフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-23T19:57:29Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• What makes Reasoning Models Different? Follow the Reasoning Leader for Efficient Decoding [84.42056293290015]
  推論モデルと非推論モデルの間のトークンレベルのミスアライメントを分析する。 本稿では,FoReaL-Decodingを提案する。 一般的な4つの数学推論ベンチマークにおいて、FoReaL-Decodingは理論FLOPを30から50%減らし、CoTの長さを最大40%減らした。
  論文  参考訳（メタデータ） (2025-06-08T05:08:32Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• FastLR: Non-Autoregressive Lipreading Model with Integrate-and-Fire [74.04394069262108]
  我々は,全てのターゲットトークンを同時に生成する非自己回帰(NAR)リップリーダーモデルであるFastLRを提案する。 FastLRは最先端のリップリーダーモデルと比較して10.97$times$のスピードアップを実現している。
  論文  参考訳（メタデータ） (2020-08-06T08:28:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。