論文の概要: DecoMoE: Decoupling Visual Propagation and Expert Computation for Efficient Multimodal MoE Inference
- arxiv url: http://arxiv.org/abs/2609.38823v1
- Date: Wed, 30 Sep 2026 02:46:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.05494
- Title: DecoMoE: Decoupling Visual Propagation and Expert Computation for Efficient Multimodal MoE Inference
- Title（参考訳）: DecoMoE: 効率的なマルチモーダルMOE推論のためのビジュアルプロパゲーションとエキスパート計算の分離
- Abstract要約: マルチモーダル・ミックス・オブ・エキスパート(MoE)モデルは、スパース専門家のアクティベーションと視覚言語能力を組み合わせたモデルである。
既存の方法は通常トークンや専門家の次元を圧縮し、冗長性を他方に残す。
本稿では,専門家の計算から視覚伝搬を分離する2次元構造化圧縮フレームワークDecoMoEを提案する。
- 参考スコア（独自算出の注目度）: 18.543017826321403
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal mixture-of-experts (MoE) models combine sparse expert activation with visual-language capabilities, yet their inference remains costly because long visual-token sequences repeatedly incur attention, routing, dispatch, and expert-MLP computation. Existing methods typically compress either the token or expert dimension, leaving redundancy along the other. Our analysis reveals two complementary regularities: the depth required for visual propagation varies across inputs, while text-token routing exhibits concentrated and recurrent expert-importance patterns. Based on these observations, we propose DecoMoE, a two-dimensional structured compression framework that decouples visual propagation from expert computation. The Sample-Adaptive Visual Boundary (SAVB) predicts an input-dependent visual-exit layer at which the visual-token block is removed. The Routing-Calibrated Expert Prefix (RCEP) reorders experts offline using text-token routed mass and, from this predicted exit layer onward, retains at each MoE layer the shortest contiguous prefix covering a target routed-mass fraction. We evaluate DecoMoE on Qwen3-VL-MoE and InternVL3.5-30B-A3B across six benchmarks. On Qwen3-VL-MoE, DecoMoE retains 97.91% of dense-baseline performance while reducing computation from 27.06 to 16.73 TFLOPs and latency from 0.44 to 0.26 seconds, yielding a 1.69x speedup. Code will be available at https://github.com/ShawnTan86/DecoMoE.
- Abstract（参考訳）: マルチモーダル・ミックス・オブ・エキスパート(MoE)モデルは、スパース専門家のアクティベーションと視覚言語能力を組み合わせたものだが、長い視覚的なシーケンスが繰り返し注目され、ルーティングされ、ディスパッチされ、専門家-MLPの計算によってコストがかかる。
既存の方法は通常トークンまたは専門家の次元を圧縮し、他方に冗長性を残す。
本分析では,視覚伝搬に必要な深度は入力によって異なり,テキスト・トーケン・ルーティングは集中的かつ反復的な専門家・重要パターンを示す。
これらの観測に基づき、専門家の計算から視覚伝搬を分離する2次元構造化圧縮フレームワークであるDecoMoEを提案する。
サンプル適応ビジュアルバウンダリ(SAVB)は、入力依存のビジュアルエグジット層を予測し、視覚トーケンブロックを除去する。
Routing-Calibrated Expert Prefix (RCEP) は、テキストトークンのルーティングされたマスを使用して専門家をオフラインで注文し、この予測された出口層から各MoE層に保持する。
我々は6つのベンチマークでQwen3-VL-MoEとInternVL3.5-30B-A3BのDecoMoEを評価する。
Qwen3-VL-MoEでは、DecoMoEは97.91%の高密度ベースライン性能を維持し、27.06から16.73 TFLOP、レイテンシは0.44から0.26秒に短縮され、速度は1.69倍に向上した。
コードはhttps://github.com/ShawnTan86/DecoMoE.comで入手できる。
関連論文リスト
- GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed [71.05944634852158]
GroundAnythingはブロックワイズによる正確なローカライゼーションで高速並列デコーディングを再構成する。
30のグラウンドベンチマークで、私たちの自己回帰型であるGroundAnything-VLMは、この技術の新たな全体的な状態を確立します。
エントロピー誘導復号法により、GroundAnythingは、この規模の芸術の先行状態を超越している。
論文 参考訳（メタデータ） (2026-09-30T12:20:51Z) - PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference [15.233755808671871]
既存の視覚トークンプルーニング法には2つの基本的な制限がある。
ほとんどのアプローチは、ビジョン後エンコーダのみを動作させ、視覚符号化フェーズのかなりの遅延は、最適化されないままである。
視覚エンコーダと大規模言語モデルの両方を高速化するフレームワークである PACE を提案する。
論文 参考訳（メタデータ） (2026-08-27T14:52:09Z) - Visual Access Boundaries in Vision-Language Model Reasoning [23.49046016297019]
チェーン・オブ・ソート(CoT)プロンプトは視覚言語モデル(VLM)のテスト時間スケーリング戦略として広く利用されている。
我々は,CoTは推論トレース全体を通して直接画像へのアクセスを長くすることで,主に性能を向上しないことを示す。
また、CoTゲインは知覚的読み出しによって制約されていることも示している。
論文 参考訳（メタデータ） (2026-07-14T14:27:58Z) - Attend, Transform, or Silence: Operator-Level Visual Skipping for Efficient Multimodal LLM Inference [13.079143204091705]
本研究は,解答可視的視点から視覚情報について検討し,解答可視的表現にはほとんど影響を与えず,後期視覚情報更新は大きいままであることを示す。
本稿では,余分な注意,FFN,あるいはその両方を選択的に回避しながら,完全な視覚情報シーケンスを保存する演算子レベルの視覚情報スキッピングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-30T16:08:29Z) - COVTrack++: Learning Open-Vocabulary Multi-Object Tracking from Continuous Videos via a Synergistic Paradigm [59.26203051651017]
C-TAOはOpen-Vocabulary Multi-Object Tracking (OVMOT)のための最初の連続アノテーション付きトレーニングセットである
フレームワークボトルネックに対するCOVTrack++は,3つのモジュールによる検出とアソシエーションの双方向相互機構を実現するための相乗的フレームワークである。
TAOの実験では、新しいTAAは検証とテストセットで35.4%、30.5%に達し、新しいAssocAは4.8%、新しいLocAは5.8%向上した。
論文 参考訳（メタデータ） (2026-03-25T07:20:27Z) - FastMMoE: Accelerating Multimodal Large Language Models through Dynamic Expert Activation and Routing-Aware Token Pruning [16.753299634529736]
マルチモーダル・大規模言語モデル (MLLM) は優れた性能を達成しているが、高解像度の視覚入力は視覚トークンの長いシーケンスと相当な推論遅延をもたらす。
冗長なビジュアルトークンの削減は、パフォーマンスを維持しながら計算/メモリの負担を軽減するために重要であり、リソース制約やレイテンシに敏感なシナリオでのMLLMデプロイメントを可能にする。
本稿では,Fast Multimodal Mixture-of-Experts (FastMMoE)を提案する。
論文 参考訳（メタデータ） (2025-11-22T02:25:00Z) - MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。
MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
論文 参考訳（メタデータ） (2025-11-19T18:48:27Z) - Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models [58.54288496296157]
CoE(Chain-of-Experts)は新しいMixture-of-Experts(MoE)アーキテクチャで、各レイヤ内でのシーケンシャルな専門家通信を導入している。
イテレーション間の動的専門家選択をサポートするために、CoEはレイヤ内の各ステップに専用のルータを使用している。
論文 参考訳（メタデータ） (2025-06-23T02:15:43Z) - AiluRus: A Scalable ViT Framework for Dense Prediction [95.1313839257891]
視覚変換器 (ViT) は、その優れた性能のため、視覚タスクの一般的なアーキテクチャとして登場した。
本稿では,画像の異なる領域に対して,その重要度に応じて適応分解能を適用することを提案する。
提案手法を3つの異なるデータセット上で評価し,有望な性能を観察する。
論文 参考訳（メタデータ） (2023-11-02T12:48:43Z) - It Takes Two: Masked Appearance-Motion Modeling for Self-supervised
Video Transformer Pre-training [76.69480467101143]
自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。
本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。
一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
論文 参考訳（メタデータ） (2022-10-11T08:05:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。