論文の概要: Improving Parameter Utilization by Sharing Neural Experts Across Layers in Transformers

• arxiv url: http://arxiv.org/abs/2609.22199v1
• Date: Mon, 31 Aug 2026 05:15:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.768819
• Title: Improving Parameter Utilization by Sharing Neural Experts Across Layers in Transformers
• Title（参考訳）: 変圧器の層間ニューラルネットワークによるパラメータ利用の改善
• Abstract要約: トランスフォーマーベースの大規模言語モデルは、しばしば層間パラメータ冗長性に悩まされる。 本稿では,CS-MoEを提案する。CS-MoEは,この非効率性に対応するために,多層専門家の共有を特徴とするトランスフォーマーアーキテクチャである。
• 参考スコア（独自算出の注目度）: 12.971394377165767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based large language models often suffer from inter-layer parameter redundancy, where functional transformations are redundantly learned across network depths. We propose CS-MoE, a novel Transformer architecture featuring cross-layer expert sharing to address this inefficiency. Deviating from the widely used Mixture-of-Experts (MoE) architecture that terminates each Transformer block with layer-isolated experts, CS-MoE combines layer-independent experts with concurrent access to a centralized, globally shared expert pool. This \textit{Global Experts Sharing} mechanism enables elastic control over token-level parameter activation and computational consumption (FLOPs). Experiments demonstrate that CS-MoE achieves lower perplexity than equal-scale dense Transformers while activating only 55\% of parameters. Furthermore, its performance scales monotonically with an increased number of activated experts and approaches MoE counterparts that consume more FLOPs by expanding the shared pool with a fixed FLOPs budget. CS-MoE also establishes a flexible Pareto frontier between computational cost and model capacity, offering an efficient alternative for computation-constrained environments.
• Abstract（参考訳）: トランスフォーマーベースの大規模言語モデルは、しばしば層間パラメータ冗長性に悩まされ、ネットワーク深度にわたって関数変換が冗長に学習される。 本稿では,CS-MoEを提案する。CS-MoEは,この非効率性に対応するために,多層専門家の共有を特徴とするトランスフォーマーアーキテクチャである。 広く使用されているMixture-of-Experts (MoE)アーキテクチャから切り離されたCS-MoEは、レイヤに依存しない専門家と、グローバルに共有されている集中型エキスパートプールへの同時アクセスを組み合わせている。 この \textit{Global Experts Sharing} 機構はトークンレベルのパラメータ活性化と計算消費(FLOP)の弾性制御を可能にする。 実験により、CS-MoEは、パラメータの55%しか活性化せず、等スケールの高密度変圧器よりも低いパープレキシティを実現することが示された。 さらに、そのパフォーマンスは、アクティベートされた専門家の数の増加とともに単調にスケールし、固定されたFLOP予算で共有プールを拡張することで、より多くのFLOPを消費するMoEにアプローチする。 CS-MoEはまた、計算コストとモデル容量の間のフレキシブルなパレートフロンティアを確立し、計算制約のある環境に対する効率的な代替手段を提供する。

関連論文リスト

• MoRE: Mixture of Reused Experts [32.00670142848429]
  Mixture of Reused Experts (MoRE)は、隣接するレイヤのグループ間で専門家プールを共有するハイブリッドである。 MoREは、標準のMoEや最先端のウェイトシェアリングアーキテクチャよりも低いパープレキシティとより強力なダウンストリームパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-09-16T06:03:56Z)
• SAPE: Sandwich Adapters for Parameter Efficiency in Large Language Model Fine-Tuning [0.0]
  サンドイッチスタイルの重量共有トポロジーに基づくPEFTフレームワークであるSAPEを紹介する。 SAPEは、バランスの取れたグループアダプタを介して中間トランスフォーマー層をルーティングする。 動的パラメータ共有法に関連する計算オーバーヘッドを排除しつつ、メモリ消費を大幅に削減する。
  論文  参考訳（メタデータ） (2026-08-15T18:32:47Z)
• Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models [50.34585122347149]
  これは連続的なトランスフォーマー層にまたがるエキスパートパラメータを共有するアーキテクチャ修正である。 我々は、OLMoE、Qwen3、DeepSeekスタイルのMoEなど、一般的な最先端アーキテクチャにおけるこのアプローチを評価した。
  論文  参考訳（メタデータ） (2026-06-15T15:08:09Z)
• DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts [56.175408382091796]
  本研究では, 標準重み付け集約を構造集約に置き換えることにより, 専門家やルータを変更することなく, 専門家合成空間を拡大することを示す。 DAG-MoEは軽量モジュールを用いて,選択した専門家の最適な集約構造を自動的に学習するスパースMoEフレームワークである。
  論文  参考訳（メタデータ） (2026-05-31T07:08:16Z)
• Ge$^\text{2}$mS-T: Multi-Dimensional Grouping for Ultra-High Energy Efficiency in Spiking Transformer [84.8831358775386]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも優れたエネルギー効率を提供する ANN-SNN ConversionやSpatial-Temporal Backpropagation (STBP)といった既存のパラダイムは、固有の制限に悩まされている。 Ge$text2$mS-Tを提案する。これは時間的・空間的・ネットワーク的構造次元にまたがるグループ計算を実装した新しいアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-10T02:58:46Z)
• Improving Recursive Transformers with Mixture of LoRAs [2.672804414228544]
  共有フィードフォワードネットワーク(FFN)内にLoRA(Lo-Rank Adaptation)の専門家を挿入するLoRA(MoL)の混合 MoLは、バックボーンパラメータをアンタイズすることなく共有FFNのトークン条件の重み空間変調を可能にする。 ModernALBERTは、コンパクトモデル間で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-14T23:39:30Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
  複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。 ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
  論文  参考訳（メタデータ） (2025-03-10T03:15:54Z)
• MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
  ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。 層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。 従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
  論文  参考訳（メタデータ） (2024-05-25T03:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。