論文の概要: MODE: Modality-Decomposed Expert-Level Mixed-Precision Quantization for MoE Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2606.17118v1
• Date: Mon, 15 Jun 2026 10:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.070401
• Title: MODE: Modality-Decomposed Expert-Level Mixed-Precision Quantization for MoE Multimodal LLMs
• Title（参考訳）: モード: MoE多モードLLMのためのモード分解型エキスパートレベル混合精度量子化
• Authors: Yuanteng Chen, Peisong Wang, Zhilei Liu, Nanxin Zeng, Yuantian Shao, Shiqiang Lang, Tao Liu, Chuangyi Li, Qinghao Hu, Gang Li, Jing Liu, Jian Cheng,
• Abstract要約: 我々は,MoE-MLLMのためのモダリティ分解型エキスパートレベル混合精度量子化フレームワークMODEを提案する。 MODEは特にMoE-MLLMに適しており、平均的な性能損失はW3A16で2.9%に制限され、極端な2ビット設定ではより大きく向上した。
• 参考スコア（独自算出の注目度）: 33.85005996775957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts Multimodal Large Language Models (MoE-MLLMs) offer remarkable performance but incur prohibitive GPU memory costs, making compression essential. Among PTQ methods, expert-level mixed-precision quantization has proven effective for MoE-LLMs, yet suffers notable degradation on MoE-MLLMs due to two overlooked biases in expert importance estimation. (1) At the cross-modal level, the numerical dominance of vision tokens causes expert selection frequency to be dominated by vision tokens, masking experts that are critical to the text modality; (2) at the intra-vision level, the large proportion of redundant vision tokens further skew frequency statistics, obscuring experts critical for informative visual content. To bridge gaps, we propose MODE, a modality-decomposed expert-level mixed-precision quantization framework for MoE-MLLMs that decomposes expert selection frequency by modality, filters redundant vision tokens to obtain denoised visual frequency, and further evaluates quantization sensitivity per modality as a complementary signal to frequency-based estimation. These signals are integrated into an Integer Linear Programming formulation to assign per-expert bit-widths under a given budget. Extensive experiments show that MODE is particularly well-suited for MoE-MLLMs, limiting average performance loss to within 2.9% at W3A16, with larger gains at the extreme 2-bit setting.
• Abstract（参考訳）: Mixture-of-Experts Multimodal Large Language Models (MoE-MLLMs) は、優れたパフォーマンスを提供するが、GPUのメモリコストを抑えるため、圧縮が不可欠である。 PTQ法中、専門家レベルの混合精度量子化は、MoE-LLMに対して有効であることが証明されているが、専門家の重要度推定において見過ごされた2つのバイアスにより、MoE-MLLMの顕著な劣化を被っている。 1)クロスモーダルレベルでは,視覚トークンの数値的な優位性は,視覚トークン,テキストモダリティに批判的な専門家をマスキングすること,(2)視覚レベルでは,冗長な視覚トークンの比率が,さらに周波数統計を歪ませること,情報的視覚コンテンツに批判的な専門家を排除すること,などによって,専門家の選択頻度が支配される。 MODEは、モダリティによって専門家選択周波数を分解するMoE-MLLMのための、モダリティ分解された専門家レベル混合精度量子化フレームワークであり、冗長な視覚トークンをフィルタして識別された視覚周波数を取得し、さらに、モダリティ毎の量子化感度を周波数ベース推定の補完信号として評価する。 これらの信号はInteger Linear Programmingの定式化に統合され、与えられた予算の下で、熟練ビット幅を割り当てる。 大規模な実験により、MODEは特にMoE-MLLMに適しており、平均的な性能損失はW3A16で2.9%に制限され、極端な2ビット設定ではより大きく向上した。

関連論文リスト

• GEMQ: Global Expert-Level Mixed-Precision Quantization for MoE LLMs [40.50894372538921]
  混合精度量子化は、その重要性に基づいて、専門家のビット幅を割り当てることで、メモリオーバーヘッドを軽減する。 既存の手法は、量子化によって誘導されるレイヤワイドな重要度推定とオーバルックルータシフトに依存している。 我々はこれらの制限を克服するために,グローバルエキスパートレベル混合精度量子化(GEMQ)を提案する。
  論文  参考訳（メタデータ） (2026-05-21T22:23:38Z)
• VEQ: Modality-Adaptive Quantization for MoE Vision-Language Models [41.557274086591924]
  PTQ(Post-Training Quantization)は、大量のメモリと計算オーバーヘッドに対処する効果的なトレーニング不要の手法である。 ビジュアルエキスパート量子化(VEQ)は、クロスモーダルな違いと専門家の不均一性に対応するために設計された、デュアルアウェアな量子化フレームワークである。 本手法は,従来のSOTA量子化法と比較して,Kim-VLでは2.04%,Qwen3-VLでは3.09%の精度向上を実現している。
  論文  参考訳（メタデータ） (2026-02-01T05:53:09Z)
• Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
  スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。 SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。 近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。 本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
  論文  参考訳（メタデータ） (2025-11-07T22:19:34Z)
• ELMM: Efficient Lightweight Multimodal Large Language Models for Multimodal Knowledge Graph Completion [34.49091265125411]
  マルチモーダル知識グラフ(MKG)は、視覚的およびテキスト的モダリティを取り入れ、よりリッチで表現力のあるエンティティ表現を可能にすることで、従来の知識グラフを拡張している。 既存のMKGは、しばしば不完全性に悩まされ、下流のタスクにおいてその効果を阻害する。 大規模言語モデル (LLMs) は知識グラフ補完 (KGC) を約束している。 MKGCのための効率的な軽量マルチモーダル言語モデル(ELMM)を提案する。
  論文  参考訳（メタデータ） (2025-10-19T08:29:43Z)
• MoPEQ: Mixture of Mixed Precision Quantized Experts [0.1262792599323502]
  混合精度量子化(Mixed Precision Quantization)は、モデル内の層感度と重要性に基づいて、LLM/VLMの異なる層に異なる精度を割り当てる。 本稿では,各専門家に最適なビット幅を割り当てるポストトレーニング量子化アルゴリズムMoPEQを提案する。 本手法は,ヘッセントレース近似を用いて各専門家の感度を解析することにより,精度とモデルサイズをバランスさせる。
  論文  参考訳（メタデータ） (2025-09-02T17:04:59Z)
• MoEQuant: Enhancing Quantization for Mixture-of-Experts Large Language Models via Expert-Balanced Sampling and Affinity Guidance [10.817003682434425]
  Mixture-of-Experts (MoE) Large Language Model (LLM) は動的ルーティングとスパースアクティベーションを利用して効率とスケーラビリティを向上させる。 後トレーニング量子化(PTQ)は、MoEモデルに適用した場合、精度が著しく低下し、性能が低下する。 本稿では,MoEのスパースと動的特性が量子化に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-05-02T08:51:55Z)
• Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
  微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。 一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
  論文  参考訳（メタデータ） (2024-11-17T01:16:37Z)
• Both Text and Images Leaked! A Systematic Analysis of Data Contamination in Multimodal LLM [53.05486269607166]
  マルチモーダルな大言語モデル (MLLM) はベンチマーク間で大幅に性能が向上した。 マルチモーダルデータ複雑性とマルチフェーズトレーニングのため,既存のLLM検出手法はMLLMでは不十分である。 我々は分析フレームワークMM-Detectを用いてマルチモーダルデータの汚染を分析する。
  論文  参考訳（メタデータ） (2024-11-06T10:44:15Z)
• The Curse of Multi-Modalities: Evaluating Hallucinations of Large Multimodal Models across Language, Visual, and Audio [118.75449542080746]
  本稿では,大規模マルチモーダルモデル(LMM)における幻覚に関する最初の系統的研究について述べる。 本研究は,幻覚に対する2つの重要な要因を明らかにした。 私たちの研究は、モダリティ統合の不均衡やトレーニングデータからのバイアスなど、重要な脆弱性を強調し、モダリティ間のバランスの取れた学習の必要性を強調した。
  論文  参考訳（メタデータ） (2024-10-16T17:59:02Z)
• Mixture Compressor for Mixture-of-Experts LLMs Gains More [71.0473038084673]
  我々は、Mixture-of-Experts Large Language Model (MoE-LLMs) のためのトレーニング不要なMixture-Compressorを提案する。 我々のMCは静的量子化と動的プルーニングを統合し、より少ない精度でMoE-LLMの極端な圧縮を実現する。 例えば、2.54ビットでは、MCは76.6%を圧縮し、平均精度損失は3.8%である。
  論文  参考訳（メタデータ） (2024-10-08T18:09:38Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。