論文の概要: Deep Pre-Alignment for VLMs

• arxiv url: http://arxiv.org/abs/2605.15300v1
• Date: Thu, 14 May 2026 18:14:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.050415
• Title: Deep Pre-Alignment for VLMs
• Title（参考訳）: VLMの深い事前調整
• Authors: Tianyu Yu, Kechen Fang, Zihao Wan, Kaidong Zhang, Yicheng Zhang, Jun Song, Bo Zheng, Yuan Yao,
• Abstract要約: ほとんどのビジョン言語モデル (VLM) は、ViTエンコーダの出力を直接軽量プロジェクタ経由でLLMにマッピングする。 本稿では,標準VTエンコーダを小さなVLMに置き換えた新しいアーキテクチャであるDeep Pre-Alignment (DPA)を提案する。
• 参考スコア（独自算出の注目度）: 18.93949300827106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most Vision Language Models (VLMs) directly map outputs from ViT encoders to the LLM via a lightweight projector. While effective, recent analysis suggests this architecture suffers from an alignment challenge: visual features remain distant from the text space in the initial layers of the LLM, forcing the model to waste critical depth~\cite{zhang-etal-2024-investigating,artzy-schwartz-2024-attend} on superficial modality alignment rather than deep understanding and complex reasoning. In this work, we propose Deep Pre-Alignment (DPA), a novel architecture that replaces the standard ViT encoder with a small VLM as perceiver, ensuring visual features are deeply aligned with the text space of the target large language model. Comprehensive experiments demonstrate the effectiveness of DPA. On the 4B parameter scale, DPA outperforms baselines by 1.9 points across 8 multimodal benchmarks, with gains widening to 3.0 points at the 32B scale. Moreover, by offloading alignment to the perceiver, DPA achieves a 32.9\% reduction in language capability forgetting over 3 text benchmarks. We further demonstrate that these gains are consistent across different LLM families including Qwen3 and LLaMA 3.2, highlighting the generality of our approach. Beyond performance, DPA also offers a seamless upgrade path for current VLM development, requiring only a modular replacement for the visual encoder with marginal computation overhead.
• Abstract（参考訳）: ほとんどのビジョン言語モデル (VLM) は、ViTエンコーダの出力を直接軽量プロジェクタ経由でLLMにマッピングする。 視覚的特徴は、LLMの初期層におけるテキスト空間から遠く離れており、深い理解や複雑な推論ではなく、表面的なモダリティアライメントに対して、モデルに致命的な深さを浪費せざるを得ない。 本研究では,標準VTエンコーダを小さなVLMに置き換えた新しいアーキテクチャであるDeep Pre-Alignment (DPA)を提案する。 総合的な実験は、DPAの有効性を実証する。 4Bパラメータスケールでは、DPAは8つのマルチモーダルベンチマークでベースラインを1.9ポイント上回り、32Bスケールで3.0ポイントまで上昇する。 さらに、知覚者にアライメントをオフロードすることで、DPAは3つのテキストベンチマークを忘れる言語能力の32.9%削減を達成する。 さらに、これらの利得は、Qwen3 や LLaMA 3.2 を含む異なる LLM ファミリー間で一致していることを示し、このアプローチの一般性を強調している。 パフォーマンス以外にも、DPAは現在のVLM開発にシームレスなアップグレードパスを提供しており、ビジュアルエンコーダのモジュール的な置き換えと計算オーバーヘッドが限界である。

関連論文リスト

• Unlocking Dense Metric Depth Estimation in VLMs [36.431792667223796]
  VLM(Vision-Language Models)は、接地やキャプションなどの2Dタスクに優れるが、3D理解には制限がある。 本稿では,単一のVLMをネイティブな密度密度幾何学予測器に変換する,シンプルで効果的なフレームワークであるDepthVLMを提案する。
  論文  参考訳（メタデータ） (2026-05-15T11:54:17Z)
• From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
  VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。 CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
  論文  参考訳（メタデータ） (2026-01-15T18:59:10Z)
• LLaVA-UHD v3: Progressive Visual Compression for Efficient Native-Resolution Encoding in MLLMs [52.24096832965001]
  提案するプログレッシブ・ビジュアル・圧縮(PVC)法を中心としたMLLMであるLLaVA-UHD v3を提案する。 PVC法は、視覚変換器(ViT)にシームレスに統合して、効率的なネイティブ解像度符号化を可能にする。 ViT-UHDをベースとしたLLaVA-UHD v3はQwen2-VLとの競合性能も達成し、TTFTを1.9倍削減した。
  論文  参考訳（メタデータ） (2025-11-26T08:11:10Z)
• LLaVA-UHD v2: an MLLM Integrating High-Resolution Semantic Pyramid via Hierarchical Window Transformer [110.39467860530819]
  視覚変換器 (ViT) は視覚符号化のための多モード大言語モデル (MLLM) に広く用いられている。 我々は、よく設計された視覚言語プロジェクタを導入することで、高度な知覚能力を持つMLLMであるLLaVA-UHD v2を提案する。 ハイウィン変換器は、構築した高精細なセマンティックピラミッドを組み込むことにより、MLLMの多様なマルチモーダルな視覚的粒度を捕捉する能力を高める。
  論文  参考訳（メタデータ） (2024-12-18T14:07:46Z)
• Elevating Visual Perception in Multimodal LLMs with Visual Embedding Distillation [109.5893580175657]
  近年,MLLMの開発における標準的な実践は,視覚エンコーダの機能をLLMに供給し,自然言語による指導を施すことである。 このアプローチは、しばしばモデルが言語理解に傾き、データに存在するリッチな視覚知覚信号を損なう。 本稿では,視覚知識をエキスパートビジョンエンコーダからLLMの隠れ表現に注入する最初のアプローチであるVisPer-LMを提案する。
  論文  参考訳（メタデータ） (2024-12-12T18:55:18Z)
• LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders [34.421335513040795]
  大規模デコーダのみの言語モデル(LLM)は、今日のNLPタスクとベンチマークのほとんどで最先端のモデルである。 LLM2Vecは、任意のデコーダのみのLCMを強力なテキストエンコーダに変換する、単純な教師なしアプローチである。
  論文  参考訳（メタデータ） (2024-04-09T02:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。