論文の概要: MoE-ViE: Mixture of Experts Vision Encoder for Efficient Image and Video Understanding

• arxiv url: http://arxiv.org/abs/2608.17402v1
• Date: Tue, 18 Aug 2026 05:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.229692
• Title: MoE-ViE: Mixture of Experts Vision Encoder for Efficient Image and Video Understanding
• Title（参考訳）: MoE-ViE:高能率画像・映像理解のためのエキスパートビジョンエンコーダの混合
• Abstract要約: 視覚エンコーダスケーリングのためのMoE設計について検討し,より微細なMoEトポロジが高密度および標準のMoEトポロジよりも大幅に向上することを確認した。 画像知識を保ちながら映像機能を向上させるため,新しい冷凍機構と組み合わせたフレームレベルの蒸留を導入する。 MoE-ViEは、画像とビデオのベンチマークで比較したエンコーダを全て上回っている。
• 参考スコア（独自算出の注目度）: 23.15502623048202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision encoders are a critical component of vision-language models, and scaling their capacity effectively improves performance. However, dense scaling increases compute cost and inference latency. Mixture-of-Experts (MoE) architectures offer a compelling alternative, having enabled efficient scaling in LLMs, yet the MoE design space for CLIP-style vision encoders remains underexplored at State-of-the-Art (SOTA) levels. In this work, we systematically study MoE designs for vision encoder scaling and find that fine-grained MoE topologies yield substantial gains over both dense and standard MoE counterparts. We further propose an auxiliary-loss-free balancing variant for better expert utilization, and design a specialized MoE kernel to mitigate inference latency overhead. To enhance video capabilities while preserving image knowledge, we introduce frame-level distillation paired with a novel freezing mechanism. We pretrain a series of Mixture-of-Experts Vision Encoders (MoE-ViE) across a range of sizes, all consistently outperforming their dense counterparts. Our largest model matches the zero-shot performance of a SOTA encoder 1.7x its size at 76% of its latency. When aligned with an LLM, MoE-ViE surpasses all compared encoders on image and video benchmarks, including those with up to 5x more activated parameters. Code is available at https://github.com/facebookresearch/moe_vie.
• Abstract（参考訳）: ビジョンエンコーダは視覚言語モデルの重要なコンポーネントであり、そのキャパシティのスケーリングは性能を効果的に向上させる。 しかし、密度の高いスケーリングは計算コストと推論遅延を増加させる。 Mixture-of-Experts (MoE)アーキテクチャは、LLMの効率的なスケーリングを実現した魅力的な代替手段を提供するが、CLIPスタイルのビジョンエンコーダのためのMoE設計スペースは、まだState-of-the-Art (SOTA)レベルでは未定である。 本研究では、視覚エンコーダスケーリングのためのMoE設計を体系的に研究し、微細なMoEトポロジが高密度および標準のMoEトポロジよりもかなりの利得が得られることを見出した。 さらに、専門家の使い勝手を向上させるための補助ロスフリーバランシング変種を提案し、推論遅延のオーバーヘッドを軽減するため、特別なMoEカーネルを設計する。 画像知識を保ちながら映像機能を向上させるため,新しい冷凍機構と組み合わせたフレームレベルの蒸留を導入する。 我々は、一連のMixture-of-Experts Vision Encoders(MoE-ViE)を、さまざまなサイズで事前訓練し、それらすべてにおいて、その密度の高いものよりも一貫して優れています。 我々の最大のモデルでは、SOTAエンコーダ1.7倍の大きさのゼロショット性能をレイテンシの76%としています。 LLMに合わせると、MoE-ViEは画像とビデオのベンチマークで比較エンコーダを上回り、最大5倍の活性パラメータを持つ。 コードはhttps://github.com/facebookresearch/moe_vie.comで入手できる。

関連論文リスト

• UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models [47.9122865431321]
  本稿では,LVLM用ビジョンエンコーダであるUltraViTについて述べる。 具体的には、デバイス上の実際のレイテンシを考慮して、異種空間ミキサーを戦略的に統合し適応するピラミッドアーキテクチャを設計する。 我々は,UltraViTを事前訓練するために,高密度蒸留による豊かな空間特徴の育成と,キャパシティ混合冷凍LLMからの直接的生成管理という,新しい2段階の事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2026-07-25T21:31:40Z)
• LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs [90.77662862634509]
  LiteFrameは、ビデオ大言語モデルのための強力な、しかし非常に効率的なバックボーンである。 LiteFrameはエンドツーエンドのレイテンシを35%削減し、8$times$より多くのフレームを処理する。 計算予算の固定化により,より長めの映像理解を解き明かす可能性を示した。
  論文  参考訳（メタデータ） (2026-05-17T05:02:52Z)
• Rethinking Model Selection in VLM Through the Lens of Gromov-Wasserstein Distance [65.36257254806647]
  VLM(Vision-Language Models)は、視覚エンコーダの統合により、視覚機能を備えた従来のLLMを拡張した。 最大サイズまたは最高ゼロショット精度のエンコーダを選択するような一般的なプラクティスは、常に最適なモデルを特定するのに失敗していることを示す。 VLMでは視覚エンコーダのどの要素が重要か?
  論文  参考訳（メタデータ） (2026-05-02T08:42:13Z)
• CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning [79.07656918674684]
  CoME-VLは、対照的に訓練された視覚エンコーダと自己教師型DINOエンコーダを統合するモジュラーフュージョンフレームワークである。 提案手法は,RefCOCOのベースライン上での精度を高いマージンで向上させながら,検出のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-03T17:59:51Z)
• OpenVision 3: A Family of Unified Visual Encoder for Both Understanding and Generation [101.82480298904225]
  本稿では,単一で統一された視覚表現を学習する,OpenVision 3という高度な視覚エンコーダ群について述べる。 VAE圧縮されたイメージラテントをViTエンコーダに供給し、2つの補完的な役割をサポートするために出力をトレーニングします。 マルチモーダル理解のために、エンコーダをLLaVA-1.5フレームワークにプラグインします。
  論文  参考訳（メタデータ） (2026-01-21T18:47:12Z)
• EVEv2: Improved Baselines for Encoder-Free Vision-Language Models [72.07868838411474]
  既存のエンコーダフリービジョン言語モデル(VLM)は、エンコーダベースモデルと性能ギャップを狭めている。 我々は,主流のエンコーダをベースとしたVLMと競合するエンコーダフリーVLMの効率的な戦略を開発する。 統一モデルにおいて、視覚と言語を適切に階層的に関連付けることで、モダリティ間の干渉を減少させることを示す。
  論文  参考訳（メタデータ） (2025-02-10T18:59:58Z)
• MoVE-KD: Knowledge Distillation for VLMs with Mixture of Visual Encoders [28.22099619211775]
  視覚エンコーダは視覚言語モデル(VLM)の基本コンポーネントである 近年の研究では、複数のエンコーダを単一のVLMに組み込んでおり、計算コストが大幅に増大している。 本稿では、複数の視覚エンコーダのユニークな習熟度を1つの効率的なエンコーダモデルに抽出する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-03T09:10:34Z)
• Mixture of Experts in Image Classification: What's the Sweet Spot? [41.72573567802606]
  オープンデータセットを用いた画像分類アーキテクチャにおけるMoE層の統合について検討する。 サンプルあたりの中間パラメータのアクティベーションは、パフォーマンスと効率の最良のトレードオフを提供します。 MoE層は、小型・中型モデルが最も効果的に強化され、大容量ネットワークではテーパーオフになる。
  論文  参考訳（メタデータ） (2024-11-27T13:23:11Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。