論文の概要: UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.23373v1
• Date: Sat, 25 Jul 2026 21:31:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.086821
• Title: UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models
• Title（参考訳）: UltraViT:大型ビジョンランゲージモデルのためのレイテンシ最適化オンデバイスビジョンエンコーダ
• Abstract要約: 本稿では,LVLM用ビジョンエンコーダであるUltraViTについて述べる。 具体的には、デバイス上の実際のレイテンシを考慮して、異種空間ミキサーを戦略的に統合し適応するピラミッドアーキテクチャを設計する。 我々は,UltraViTを事前訓練するために,高密度蒸留による豊かな空間特徴の育成と,キャパシティ混合冷凍LLMからの直接的生成管理という,新しい2段階の事前学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 47.9122865431321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) remain bottlenecked by massive computational footprints, precluding their deployment on resource-constrained edge devices. While efforts to compress LVLMs focus heavily on vision token reduction or smaller language models, the vision encoder is largely overlooked, typically deployed as a monolithic, computationally heavy feature extractor. Moreover, there is no previous effort that designs a vision encoder for LVLMs directly optimized for on-device latency. In this paper, we present UltraViT, a vision encoder for LVLMs, explicitly designed and optimized for on-device performance. Specifically, by taking into account real on-device latencies, we systematically design a pyramidal architecture that strategically integrates and adapts heterogeneous spatial mixers at the macro-block level. Furthermore, to pre-train UltraViT, we propose a novel two-stage generative pre-training strategy: cultivating rich spatial features via dense distillation, followed by direct generative supervision from a capacity-mixed frozen LLM. Compared to standard contrastive and SSL, we show that our pre-training is much more effective for achieving high-level semantic grounding for UltraViT needed for the subsequent generative multimodal alignment of LVLM training. Extensive experiments demonstrate that our on-device latency-informed design combined with our tailored training strategy establishes a new state-of-the-art for efficient LVLM encoding, significantly outperforming existing encoder-centric baselines while operating on-device at nearly 1.7xthe speed.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、リソース制約されたエッジデバイスへの展開を前に、巨大な計算フットプリントによってボトルネックを被ったままである。 LVLMの圧縮は、視覚トークンの削減やより小さな言語モデルに重点を置いているが、視覚エンコーダは概して見過ごされ、典型的にはモノリシックで計算的に重い特徴抽出器としてデプロイされる。 さらに、デバイス上でのレイテンシーに最適化されたLVLM用のビジョンエンコーダを設計する以前の取り組みはない。 本稿では,LVLM用ビジョンエンコーダであるUltraViTについて述べる。 具体的には、デバイス上の実際のレイテンシを考慮して、マクロブロックレベルで異種空間ミキサーを戦略的に統合し適応するピラミッドアーキテクチャを体系的に設計する。 さらに,UltraViTを事前訓練するために,高密度蒸留による豊かな空間特性の育成と,キャパシティ混合冷凍LCMによる直接生成管理という,新たな2段階の事前学習戦略を提案する。 標準のコントラストやSSLと比較して,LVLMトレーニングの連続的多モードアライメントに必要なUltraViTの高レベルのセマンティックグラウンド化を実現するには,事前学習の方がはるかに効果的であることを示す。 デバイス上でのレイテンシインフォームド設計とトレーニング戦略が組み合わさって、効率的なLVLMエンコーディングのための新たな最先端技術を確立し、オンデバイスを約1.7倍の速度で動作させながら、既存のエンコーダ中心のベースラインを大幅に上回っていることを、広範囲にわたる実験で実証した。

関連論文リスト

• TuringViT: Making SOTA Vision Transformers Accessible to All [40.44858252534576]
  TuringViTは、チューリング線形注意(Turing Linear Attention)、VISTA-Curation(VISTA-Curation)、動的解像度事前学習(Dynamic- resolution pretraining)の3つの主要な設計で課題に対処する。 TuringViTは、10%のデータだけで、オープンソースのViTベースラインをリードしている。 我々のスケーリング法則分析は、チューリングViTが飽和から遠く離れた、キュレートされたデータスケールで予測可能な改善を続けていることを示している。
  論文  参考訳（メタデータ） (2026-06-23T07:42:22Z)
• CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning [79.07656918674684]
  CoME-VLは、対照的に訓練された視覚エンコーダと自己教師型DINOエンコーダを統合するモジュラーフュージョンフレームワークである。 提案手法は,RefCOCOのベースライン上での精度を高いマージンで向上させながら,検出のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-03T17:59:51Z)
• FineViT: Progressively Unlocking Fine-Grained Perception with Dense Recaptions [52.366937743884314]
  FineViTは、微粒な知覚を解き放つために特別に設計された、新しい視覚エンコーダである。 我々はファインビジョン・エンコーダ(ファインビジョン・エンコーダ)を紹介した。
  論文  参考訳（メタデータ） (2026-03-18T03:39:04Z)
• Penguin-VL: Exploring the Efficiency Limits of VLM with LLM-based Vision Encoders [40.81958598891815]
  ビジョン言語モデル(VLM)の開発は、モデルのサイズのスケーリングに大きく依存している。 本稿では,テキストのみのLLMによる視覚エンコーダPenguin-VLを提案する。 実験の結果,ペンギンエンコーダは従来のコントラスト前訓練に優れた代替手段であることがわかった。
  論文  参考訳（メタデータ） (2026-03-06T18:58:04Z)
• InfiniteVL: Synergizing Linear and Sparse Attention for Highly-Efficient, Unlimited-Input Vision-Language Models [49.08289742711585]
  我々は、Gated DeltaNetとSWA(Slide window attention)を相乗化する線形複雑VLMアーキテクチャであるInfiniteVLを提案する。 InfiniteVLは、一定のレイテンシとメモリフットプリントを維持しながら、3.6時間以上の推論高速化を実現する。 ストリーミングビデオ理解のシナリオでは、長期メモリキャッシュを保持しながら、24FPSのリアルタイムプリフィル速度を安定的に維持する。
  論文  参考訳（メタデータ） (2025-12-09T17:18:32Z)
• SpecVLM: Fast Speculative Decoding in Vision-Language Models [14.243294546325714]
  投機的復号化は自己回帰型大規模言語モデル(LLM)を高速化する強力な方法である 視覚言語モデル(VLM)の投機的復号化について検討する。 1.5--2.3xのエンドツーエンドの高速化を完全自己回帰推論で実現する実用システムであるSpecVLMを紹介する。
  論文  参考訳（メタデータ） (2025-09-15T11:53:56Z)
• EVEv2: Improved Baselines for Encoder-Free Vision-Language Models [72.07868838411474]
  既存のエンコーダフリービジョン言語モデル(VLM)は、エンコーダベースモデルと性能ギャップを狭めている。 我々は,主流のエンコーダをベースとしたVLMと競合するエンコーダフリーVLMの効率的な戦略を開発する。 統一モデルにおいて、視覚と言語を適切に階層的に関連付けることで、モダリティ間の干渉を減少させることを示す。
  論文  参考訳（メタデータ） (2025-02-10T18:59:58Z)
• SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
  画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。 トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。 コードとモデルはリリースされます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:26Z)
• Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training [48.455597568212944]
  マルチモーダル・ミックス・オブ・エキスパート構造を用いて視覚専門家の集合をシームレスに統合するモノリシックMLLMであるMono-InternVLを提案する。 特に、EViPは、ノイズの多いデータから高品質なデータへの視覚的知識を完全に活用することを目的とした、視覚専門家のための進歩的な学習プロセスとして設計されている。
  論文  参考訳（メタデータ） (2024-10-10T17:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。