論文の概要: Top-Down Compression: Revisit Efficient Vision Token Projection for Visual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2505.11945v2
• Date: Thu, 22 May 2025 15:10:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:22.433259
• Title: Top-Down Compression: Revisit Efficient Vision Token Projection for Visual Instruction Tuning
• Title（参考訳）: トップダウン圧縮:視覚インストラクションチューニングのための視覚トケ投射の再検討
• Authors: Bonan li, Zicheng Zhang, Songhua Liu, Weihao Yu, Xinchao Wang,
• Abstract要約: ビジュアルインストラクションチューニングは、大きな言語モデルで視覚世界を理解できるようにすることを目的としている。 既存の手法は、精度と効率の間の難解なトレードオフに悩まされることが多い。 LLaVA-Meteorは,コア情報を妥協することなく,視覚トークンを戦略的に圧縮する手法である。
• 参考スコア（独自算出の注目度）: 70.57180215148125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual instruction tuning aims to enable large language models to comprehend the visual world, with a pivotal challenge lying in establishing an effective vision-to-language projection. However, existing methods often grapple with the intractable trade-off between accuracy and efficiency. In this paper, we present LLaVA-Meteor, a novel approach designed to break this deadlock, equipped with a novel Top-Down Compression paradigm that strategically compresses visual tokens without compromising core information. Specifically, we construct a trainable Flash Global Fusion module based on efficient selective state space operators, which aligns the feature space while enabling each token to perceive holistic visual context and instruction preference at low cost. Furthermore, a local-to-single scanning manner is employed to effectively capture local dependencies, thereby enhancing the model's capability in vision modeling. To alleviate computational overhead, we explore a Visual-Native Selection mechanism that independently assesses token significance by both the visual and native experts, followed by aggregation to retain the most critical subset. Extensive experiments show that our approach reduces visual tokens by 75--95% while achieving comparable or superior performance across 12 benchmarks, significantly improving efficiency.
• Abstract（参考訳）: ビジュアル・インストラクション・チューニングは、大きな言語モデルで視覚世界を理解できるようにすることを目的としており、効果的な視覚から言語への投影を確立する上で重要な課題である。 しかし、既存の手法は精度と効率のトレードオフに悩まされることが多い。 本稿では,このデッドロックを破るための新しい手法であるLLaVA-Meteorを提案する。 具体的には、効率的な選択的な状態空間演算子に基づくトレーニング可能なFlash Global Fusionモジュールを構築し、各トークンが全体的視覚的コンテキストと命令の好みを低コストで認識できるように特徴空間を整列させる。 さらに、ローカル・ツー・シングル・スキャン方式を用いて、局所的な依存関係を効果的に捕捉し、視覚モデルにおけるモデルの能力を高める。 計算オーバーヘッドを軽減するために、視覚的およびネイティブな専門家によるトークンの重要度を独立に評価する視覚的Native Selectionメカニズムを探索し、次いで最も重要なサブセットを保持するために集約する。 大規模な実験により,12ベンチマークで比較または優れた性能を達成しつつ,視覚トークンを75～95%削減し,効率を著しく向上した。

関連論文リスト

• End-to-End Vision Tokenizer Tuning [73.3065542220568]
  低レベルの再構築のために最適化された視覚トークンーは、様々な表現と意味論を必要とする下流タスクである。 視覚トークン化の損失は、ターゲットタスクの表現ボトルネックになる可能性がある。 本研究では,視覚トークン化と目標自己回帰タスクを協調的に最適化するエンド・ツー・エンドの視覚トークン化チューニング手法であるETTを提案する。
  論文  参考訳（メタデータ） (2025-05-15T17:59:39Z)
• TopV: Compatible Token Pruning with Inference Time Optimization for Fast and Low-Memory Multimodal Vision Language Model [56.43860351559185]
  高速かつ低メモリの textbfVLM に対する推論時間最適化を備えた textbfToken textbfPruning の互換性である textbfTopV を導入する。 我々のフレームワークは、各ソースの視覚的トークンの重要性を測定するために、視覚的なコスト関数を組み込んでおり、低重要トークンの効果的なプルーニングを可能にしている。
  論文  参考訳（メタデータ） (2025-03-24T01:47:26Z)
• Learning Free Token Reduction for Multi-Modal Large Language Models [3.4026156483879517]
  VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。 しかし、それらの実践的な展開は、しばしば高い計算コストと長期の推論時間によって制約される。 本稿では,空間次元と時間次元の両方で動作するトークン圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-01-29T02:52:32Z)
• FocusLLaVA: A Coarse-to-Fine Approach for Efficient and Effective Visual Token Compression [45.37530855889661]
  高解像度画像は、多モード大言語モデルに入力される視覚トークンの数を2次的に増加させる。 現在の研究は、しばしば性能を犠牲にして、効率を改善するために視覚的トークン圧縮法を開発している。 情報密度の低い冗長領域を圧縮する視覚誘導型サンプルラと、ユーザ指示と強く相関する視覚トークンを選択するテキスト誘導型サンプルラとを用いて、粗大な視覚トークン圧縮法を構築する。
  論文  参考訳（メタデータ） (2024-11-21T15:37:52Z)
• Adaptive Masking Enhances Visual Grounding [12.793586888511978]
  ローショット学習シナリオにおける語彙接地を改善するために,ガウス放射変調を用いた画像解釈型マスキングを提案する。 我々はCOCOやODinWを含むベンチマークデータセットに対するアプローチの有効性を評価し、ゼロショットタスクや少数ショットタスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-04T05:48:02Z)
• Calibrated Self-Rewarding Vision Language Models [27.686545023186852]
  LVLM(Large Vision-Language Models)は、訓練済みの大規模言語モデル(LLM)と視覚モデルを統合することで、指導チューニングを通じて大幅に進歩した。 LVLMは、しばしば幻覚現象を示し、生成されたテキスト応答は言語的に妥当に見えるが、入力画像に矛盾する。 本稿では,候補応答を反復的に生成し,各応答に対する報酬を評価し,微調整のための選好データをキュレートすることで,モデルの自己改善を可能にするCalibrated Self-Rewarding(CSR)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T14:30:33Z)
• VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
  VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-01-15T17:28:37Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。