論文の概要: VEN-VL: A Visual Ensemble MoE Framework for Effective and Efficient Multi-Modal Understanding

• arxiv url: http://arxiv.org/abs/2605.25952v1
• Date: Mon, 25 May 2026 15:28:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.435452
• Title: VEN-VL: A Visual Ensemble MoE Framework for Effective and Efficient Multi-Modal Understanding
• Title（参考訳）: VEN-VL: 効果的かつ効率的なマルチモーダル理解のためのビジュアルアンサンブルMoEフレームワーク
• Authors: Yinghao Wu, Zhuoyan Luo, Yiyao Yu, Zhaojian Yu, Yujiu Yang, Xiao-Ping Zhang,
• Abstract要約: VEN-VLは、効果的かつ効率的な知覚のための視覚アンサンブルMoEフレームワークである。 まず、異なる視点の視覚的表現を統一することで、情報容量を増強する。 そして、情報密度を高めるために、特殊視覚の専門家による適応ルータで段階的に圧縮する。
• 参考スコア（独自算出の注目度）: 50.904820090651974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the remarkable progress achieved by recent efficient methods in accelerating multimodal understanding, they still suffer from noticeable performance degradation. Their emphasis on the high compression ratio of a single visual clue and reliance on the heuristic pruning strategy with coarse attention alignment incurs a bottleneck on the information capacity and density of visual tokens. Addressing this limitation, we propose VEN-VL, a visual ensemble MoE framework for effective and efficient perception following the enrich then compact principle. Specifically, we first enrich the information capacity by unifying the visual representations of different perspectives, and then progressively compact it with adaptive routers in specialized visual experts to enhance the information density. Furthermore, we incorporate the reconstruction ability of vanilla structure via explicit visual supervision, facilitating crucial information preservation. Experimental results demonstrate our superiority in complex visual tasks with few information-condensed tokens, which effectively bridges the gap between performance and efficiency.
• Abstract（参考訳）: マルチモーダル理解を加速する最近の効率的な手法によって達成された顕著な進歩にもかかわらず、それらは依然として顕著な性能劣化に悩まされている。 単一の視覚的手がかりの高い圧縮比と、粗い注意アライメントを伴うヒューリスティックプルーニング戦略への依存が、視覚的トークンの情報容量と密度にボトルネックをもたらす。 この制限に対処するため、我々は、リッチでコンパクトな原理に従う効果的かつ効率的な知覚のための視覚アンサンブルMoEフレームワークであるVEN-VLを提案する。 具体的には、まず異なる視点の視覚的表現を統一し、情報密度を高めるために、専門の視覚専門家の適応ルータで徐々にコンパクト化する。 さらに,バニラ構造物の復元能力は,視覚的監督によって実現され,重要な情報保存が容易になる。 実験の結果,情報量の多いトークンがほとんどない複雑な視覚タスクでは,性能と効率のギャップを効果的に埋めることができた。

関連論文リスト

• VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions [51.41587958253802]
  視覚情報を捨てることなく推論コストを削減するVISOR(VISion On Request)を導入する。 VISORは画像とテキストトークン間の相互作用をスパースすることで効率を向上する。 実験により、VISORは、最先端の結果を一致または超えながら、計算コストを大幅に削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T17:58:17Z)
• Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning [79.34909830834464]
  VLM(Vision-Language Models)は様々な視覚的タスクで顕著な成功を収めているが、複雑な視覚環境では性能が低下している。 視覚的複雑性は、注意エントロピーと強く相関し、推論性能に悪影響を及ぼすことを示す。 本稿では,CARVE(Contrastive Attention Refinement for Visual Enhancement)を提案する。
  論文  参考訳（メタデータ） (2025-09-08T09:20:04Z)
• Top-Down Compression: Revisit Efficient Vision Token Projection for Visual Instruction Tuning [70.57180215148125]
  ビジュアルインストラクションチューニングは、大きな言語モデルで視覚世界を理解できるようにすることを目的としている。 既存の手法は、精度と効率の間の難解なトレードオフに悩まされることが多い。 LLaVA-Meteorは,コア情報を妥協することなく,視覚トークンを戦略的に圧縮する手法である。
  論文  参考訳（メタデータ） (2025-05-17T10:22:29Z)
• FocusLLaVA: A Coarse-to-Fine Approach for Efficient and Effective Visual Token Compression [45.37530855889661]
  高解像度画像は、多モード大言語モデルに入力される視覚トークンの数を2次的に増加させる。 現在の研究は、しばしば性能を犠牲にして、効率を改善するために視覚的トークン圧縮法を開発している。 情報密度の低い冗長領域を圧縮する視覚誘導型サンプルラと、ユーザ指示と強く相関する視覚トークンを選択するテキスト誘導型サンプルラとを用いて、粗大な視覚トークン圧縮法を構築する。
  論文  参考訳（メタデータ） (2024-11-21T15:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。