Fugu-MT 論文翻訳(概要): Modality-Aware Expert Pruning for MoE-Based Multimodal Large Language Models

論文の概要: Modality-Aware Expert Pruning for MoE-Based Multimodal Large Language Models

arxiv url: http://arxiv.org/abs/2611.05927v1
Date: Wed, 04 Nov 2026 04:16:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-06 03:25:57.940513
Title: Modality-Aware Expert Pruning for MoE-Based Multimodal Large Language Models
Title（参考訳）: MoEに基づくマルチモーダル大言語モデルのためのモダリティアウェア・エキスパート・プルーニング
Abstract要約: MAEP(Modality-Aware Expert Pruning)は、トレーニング不要のフレームワークであり、単一のフォワードパスにおいて、モダリティによって専門家の重要さを分解する。テキスト側の重要性は保存信号として機能し、視覚側の重要性はプルーニング信号として機能し、専門家は世界各国でランク付けされる。
参考スコア（独自算出の注目度）: 3.8242356949536256
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Mixture-of-Experts (MoE) enables multimodal large language models (MLLMs) to scale capacity efficiently, but expert parameters dominate memory even though only a few experts are activated per token: they account for over 90% of model size in modern MoE-MLLMs (e.g., 54 GB out of about 58 GB in BF16 for InternVL3.5-30B-A3B and Qwen3-VL-30B-A3B). Expert pruning has emerged as an effective compression strategy, but existing methods aggregate importance uniformly across tokens, ignoring that the same expert may serve different roles for vision versus language processing. To address this, we propose MAEP (Modality-Aware Expert Pruning), a training-free framework that decomposes expert importance by modality in a single forward pass. MAEP introduces (1) Delta-H Output ($ΔH$), a redistribution-aware metric measuring the MoE output change when an expert is removed, and (2) low-attention vision tokens as a vision-side pruning signal that is dataset-stable: its expert-importance ranking remains stable across different datasets. Text-side importance serves as a preservation signal while vision-side importance serves as a pruning signal, and experts are ranked globally across layers. Experiments on three MoE-based MLLMs across multimodal and text benchmarks show that MAEP outperforms modality-agnostic baselines on the majority of multimodal benchmarks while remaining competitive on text-only tasks, reducing the BF16 expert weight footprint by about 27 GB (about 47% of total memory) so that the full weight footprint of an approximately 58 GB model fits within a single 40 GB GPU. Code is available at https://github.com/nota-github/MAEP.
Abstract（参考訳）: Mixture-of-Experts (MoE) はマルチモーダルな大規模言語モデル (MLLM) を効率よく拡張できるが、専門家パラメータがトークンごとにアクティベートされているのは少数の専門家のみであり、現代のMoE-MLLMではモデルサイズが90%以上を占める(例えば、InternVL3.5-30B-A3BとQwen3-VL-30B-A3BのBF16の約58GBのうち54GB)。エキスパートプルーニングは効果的な圧縮戦略として登場したが、既存のメソッドはトークン全体で一様に重要度を集約しており、同じ専門家がビジョンと言語処理の異なる役割を担っていることを無視している。そこで本研究では,MAEP (Modality-Aware Expert Pruning) を提案する。 MAEPでは,(1) デルタH出力(ΔH$),(2) 専門家が取り除かれたときのMoE出力変化を測定する再分配対応メトリクス,(2) 低アテンションビジョントークンを,データセットが安定なビジョン側プルーニング信号として導入する。テキスト側の重要性は保存信号として機能し、視覚側の重要性はプルーニング信号として機能し、専門家は世界各国でランク付けされる。マルチモーダルおよびテキストベンチマークにおける3つのMoEベースのMLLMの実験では、MAEPは、テキストのみのタスクで競合しながら、ほとんどのマルチモーダルベンチマークにおいて、モダリティ非依存のベースラインよりも優れており、BF16の専門家による重量フットプリントを約27GB(トータルメモリの約47%)削減し、約58GBモデルの重量フットプリントが1つの40GB GPUに収まることを示した。コードはhttps://github.com/nota-github/MAEPで入手できる。

関連論文リスト

DecoMoE: Decoupling Visual Propagation and Expert Computation for Efficient Multimodal MoE Inference [18.543017826321403]
マルチモーダル・ミックス・オブ・エキスパート(MoE)モデルは、スパース専門家のアクティベーションと視覚言語能力を組み合わせたモデルである。既存の方法は通常トークンや専門家の次元を圧縮し、冗長性を他方に残す。本稿では,専門家の計算から視覚伝搬を分離する2次元構造化圧縮フレームワークDecoMoEを提案する。
論文参考訳（メタデータ） (2026-09-30T02:46:59Z)
dMoE: dLLMs with Learnable Block Experts [71.572316901001]
単純なブロックレベルのMoEフレームワークであるdMoEを提案する。また,dMoEは,推論中に一意に活性化される専門家の数を著しく減少させることを示した。また、メモリ使用量を76.64%から79.84%に減らし、1.14$times$から1.66$times$エンドツーエンドのレイテンシ高速化を実現している。
論文参考訳（メタデータ） (2026-05-29T06:03:50Z)
Scaling Multi-Node Mixture-of-Experts Inference Using Expert Activation Patterns [10.028141800987548]
スケールでのMoE推論は、専門家の負荷不均衡と非効率なトークンルーティングによってボトルネックとなる。 Llama 4 Maverick, DeepSeek V3-671B, Qwen3-230B-A22B など, SOTA のオープンソース MoE モデルについて検討した。これらの知見から,ワークロード対応のマイクロバッチグループ化と専門家配置戦略を提案する。
論文参考訳（メタデータ） (2026-04-25T05:33:03Z)
MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。 MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
論文参考訳（メタデータ） (2025-11-19T18:48:27Z)
MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
論文参考訳（メタデータ） (2025-10-13T03:12:46Z)
MoTE: Mixture of Ternary Experts for Memory-efficient Large Multimodal Models [36.730689832979365]
MoTEは、密なチェックポイントからMixture-of-Ternary-Expertsモデルをトレーニングするためのスケーラブルでメモリ効率のよいアプローチである。 MoTEはメモリフットプリントを低くしながら、完全精度のベースラインであるMoE-LLaVAに匹敵するパフォーマンスを実現している。
論文参考訳（メタデータ） (2025-06-17T11:53:49Z)
EmbodiedBench: Comprehensive Benchmarking Multi-modal Large Language Models for Vision-Driven Embodied Agents [63.43699771428243]
EmbodiedBenchは、視覚駆動型エンボディエージェントを評価するために設計された広範囲なベンチマークである。我々はEmbodiedBench内のプロプライエタリおよびオープンソースMLLMを24件評価した。 MLLMは高いレベルのタスクで優れるが、低レベルの操作に苦戦し、最高のモデルであるGPT-4oは平均28.9%のスコアしか獲得できなかった。
論文参考訳（メタデータ） (2025-02-13T18:11:34Z)
Mixture Compressor for Mixture-of-Experts LLMs Gains More [71.0473038084673]
我々は、Mixture-of-Experts Large Language Model (MoE-LLMs) のためのトレーニング不要なMixture-Compressorを提案する。我々のMCは静的量子化と動的プルーニングを統合し、より少ない精度でMoE-LLMの極端な圧縮を実現する。例えば、2.54ビットでは、MCは76.6%を圧縮し、平均精度損失は3.8%である。
論文参考訳（メタデータ） (2024-10-08T18:09:38Z)
LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
論文参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。