論文の概要: MoRE: Mixture of Reused Experts

• arxiv url: http://arxiv.org/abs/2609.18176v2
• Date: Thu, 17 Sep 2026 05:18:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.665875
• Title: MoRE: Mixture of Reused Experts
• Title（参考訳）: MoRE: 再利用専門家の混在
• Abstract要約: Mixture of Reused Experts (MoRE)は、隣接するレイヤのグループ間で専門家プールを共有するハイブリッドである。 MoREは、標準のMoEや最先端のウェイトシェアリングアーキテクチャよりも低いパープレキシティとより強力なダウンストリームパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 32.00670142848429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) architectures decouple model capacity from computational cost, yet incur high memory footprints as parameters grow linearly with the number of experts. Recurrent Transformers achieve parameter efficiency by reusing layer weights, but typically lack the capacity for competitive language modeling. We propose Mixture of Reused Experts (MoRE), a hybrid that shares expert pools across groups of adjacent layers. Each layer retains its own router but selects from a larger shared pool, expanding the diversity of routing combinations without additional parameters. To enable shared experts to distinguish between layers, we introduce lightweight learnable depth embeddings that condition each layer's input before routing. Experiments across three model scales (114M-1.15B parameters) show that MoRE consistently achieves lower perplexity and stronger downstream performance than standard MoEs and state-of-the-art weight-sharing architectures at matched compute and parameter budgets, with only minimal modifications to existing MoE implementations.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、モデルのキャパシティを計算コストから切り離すが、パラメータが専門家の数とともに線形に増加するにつれて高いメモリフットプリントを発生させる。 リカレントトランスフォーマーは、層重みを再利用することでパラメータ効率を達成するが、典型的には競合する言語モデリングの能力に欠ける。 隣接層群間で専門家プールを共有するハイブリッドであるMixture of Reused Experts (MoRE)を提案する。 各層は独自のルータを保持するが、より大きな共有プールから選択し、追加パラメータなしでルーティングの組み合わせの多様性を拡大する。 共有専門家がレイヤを区別できるように、ルーティング前に各レイヤの入力を条件とした、軽量で学習可能な深度埋め込みを導入します。 3つのモデルスケール (114M-1.15Bパラメータ) にわたる実験では、MoREは標準のMoEよりも低いパープレキシティとより強力なダウンストリーム性能を実現し、既存のMoE実装に最小限の変更を加えるだけで、一致した計算とパラメータの予算における最先端の重み付けアーキテクチャを実現している。

関連論文リスト

• Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models [50.34585122347149]
  これは連続的なトランスフォーマー層にまたがるエキスパートパラメータを共有するアーキテクチャ修正である。 我々は、OLMoE、Qwen3、DeepSeekスタイルのMoEなど、一般的な最先端アーキテクチャにおけるこのアプローチを評価した。
  論文  参考訳（メタデータ） (2026-06-15T15:08:09Z)
• DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts [56.175408382091796]
  本研究では, 標準重み付け集約を構造集約に置き換えることにより, 専門家やルータを変更することなく, 専門家合成空間を拡大することを示す。 DAG-MoEは軽量モジュールを用いて,選択した専門家の最適な集約構造を自動的に学習するスパースMoEフレームワークである。
  論文  参考訳（メタデータ） (2026-05-31T07:08:16Z)
• UniPool: A Globally Shared Expert Pool for Mixture-of-Experts [25.706769452657458]
  専門家の能力をグローバルな建築予算として扱うMOEアーキテクチャであるUniPoolを提案する。 一致したバニラMOEベースラインに対して,UniPoolは検証損失とパープレキシティを継続的に改善することを示す。 さらなる分析により、UniPoolの利点はよりきめ細かい専門家分解によって構成されることが示された。
  論文  参考訳（メタデータ） (2026-05-07T17:59:44Z)
• Mixture of Universal Experts: Scaling Virtual Width via Depth-Width Transformation [49.44855760291454]
  Mixture-of-Experts (MoE) は、モデルのキャパシティをトーケン毎の計算から切り離す。 MoEの一般化は、新しいスケーリングディメンションであるVirtual Widthを導入している。 MoEは継続的にMoEベースラインに匹敵する性能を1.3%まで上回っている。
  論文  参考訳（メタデータ） (2026-03-05T09:07:45Z)
• ReXMoE: Reusing Experts with Minimal Overhead in Mixture-of-Experts [25.46805026086543]
  既存のレイヤローカルアプローチを超えてルーティングを改善する新しいMoEアーキテクチャであるReXMoEについて説明する。 ReXMoEは、個々の専門家の能力を犠牲にすることなく、よりリッチな専門家の組み合わせを可能にする、階層単位の予算から専門家の次元を分離する。
  論文  参考訳（メタデータ） (2025-10-20T12:27:55Z)
• Hierarchical LoRA MoE for Efficient CTR Model Scaling [56.608809143548946]
  HiLoMoEは階層的なLoRA MoEフレームワークで、パラメータ効率のよい全体的なスケーリングを可能にする。 従来のスタックとは異なり、HiLoMoEルートは出力ではなく前のレイヤスコアに基づいており、すべてのレイヤが並列に実行される。
  論文  参考訳（メタデータ） (2025-10-12T03:54:11Z)
• Breaking the MoE LLM Trilemma: Dynamic Expert Clustering with Structured Compression [14.086434595924716]
  Mixture-of-Experts (MoE) Large Language Models (LLM) は負荷不均衡、パラメータの冗長性、通信オーバーヘッドのトリレンマに直面している。 動的専門家クラスタリングと構造化圧縮に基づいて統合されたフレームワークを導入し,これらの問題に協調的に対処する。
  論文  参考訳（メタデータ） (2025-09-27T10:45:58Z)
• Model Assembly Learning with Heterogeneous Layer Weight Merging [57.8462476398611]
  モデル統合のための新しいパラダイムであるモデルアセンブリ学習(MAL)を紹介する。 MALは、様々なモデルのパラメータをオープンエンドモデル動物園に統合し、ベースモデルの能力を高める。
  論文  参考訳（メタデータ） (2025-03-27T16:21:53Z)
• ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
  複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。 ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
  論文  参考訳（メタデータ） (2025-03-10T03:15:54Z)
• Layerwise Recurrent Router for Mixture-of-Experts [42.36093735411238]
  Mixture-of-Experts (MoE)アーキテクチャは、トレーニングコストを大幅に増加させることなく、モデルサイズをスケールできる能力で際立っている。 現在のMoEモデルはパラメータ非効率をしばしば表示する。 我々はMixture-of-Experts(RMoE)のためのLayerwise Recurrent Routerを紹介する。
  論文  参考訳（メタデータ） (2024-08-13T10:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。