論文の概要: Semantic-Clipping: Efficient Vision-Language Modeling with Semantic-Guidedd Visual Selection

• arxiv url: http://arxiv.org/abs/2503.11794v1
• Date: Fri, 14 Mar 2025 18:33:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 16:01:03.144945
• Title: Semantic-Clipping: Efficient Vision-Language Modeling with Semantic-Guidedd Visual Selection
• Title（参考訳）: Semantic-Clipping:Semantic-Guidddd Visual Selectionを用いた効率的な視覚言語モデリング
• Authors: Bangzheng Li, Fei Wang, Wenxuan Zhou, Nan Xu, Ben Zhou, Sheng Zhang, Hoifung Poon, Muhao Chen,
• Abstract要約: Vision-Language Models (VLM) は、アライメントされたビジュアルエンコーダを利用して、画像をビジュアルトークンに変換することで、バックボーン大言語モデル (LLM) によるテキストと同じように処理することができる。 視覚言語モデリングの最近の進歩は、すべての符号化されたサブイメージをモデルに供給する画像トリミング技術を導入している。 本稿では,既存のVLMとシームレスに統合し,細粒度処理能力を高める軽量で普遍的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 53.558449071113245
• License:
• Abstract: Vision-Language Models (VLMs) leverage aligned visual encoders to transform images into visual tokens, allowing them to be processed similarly to text by the backbone large language model (LLM). This unified input paradigm enables VLMs to excel in vision-language tasks such as visual question answering (VQA). To improve fine-grained visual reasoning, recent advancements in vision-language modeling introduce image cropping techniques that feed all encoded sub-images into the model. However, this approach significantly increases the number of visual tokens, leading to inefficiency and potential distractions for the LLM. To address the generalization challenges of image representation in VLMs, we propose a lightweight, universal framework that seamlessly integrates with existing VLMs to enhance their ability to process finegrained details. Our method leverages textual semantics to identify key visual areas, improving VQA performance without requiring any retraining of the VLM. Additionally, it incorporates textual signals into the visual encoding process, enhancing both efficiency and effectiveness. The proposed method, SEMCLIP, strengthens the visual understanding of a 7B VLM, LLaVA-1.5 by 3.3% on average across 7 benchmarks, and particularly by 5.3% on the challenging detailed understanding benchmark V*.
• Abstract（参考訳）: Vision-Language Models (VLM) は、協調した視覚エンコーダを利用して画像を視覚トークンに変換することで、バックボーン大言語モデル (LLM) によるテキストと同様の処理を可能にする。 この統合された入力パラダイムにより、視覚的質問応答(VQA)のような視覚言語タスクにおいて、VLMが優れている。 細粒度の視覚的推論を改善するために、視覚言語モデリングの最近の進歩は、すべての符号化されたサブイメージをモデルに供給する画像トリミング技術を導入している。 しかし、このアプローチは視覚トークンの数を著しく増加させ、LCMにとって非効率性や潜在的な混乱をもたらす。 VLMにおける画像表現の一般化課題に対処するため,既存のVLMとシームレスに統合し,細粒度処理能力を高める軽量で普遍的なフレームワークを提案する。 本手法では,VLMの再トレーニングを必要とせずに,テキストのセマンティクスを利用して重要な視覚領域を識別し,VQA性能を向上させる。 さらに、テキスト信号が視覚的符号化プロセスに組み込まれ、効率性と有効性の両方を高める。 提案手法であるSEMCLIPは、7B VLM, LLaVA-1.5の視覚的理解を7つのベンチマークで平均3.3%強化する。

関連論文リスト

• Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images [7.823336661261962]
  VLM(Large Vision-Language Models)は、画像の内容を無視し、言語モデルに過剰に依存する傾向にある。 本稿では,S-VCO(Symmetrical Visual Contrastive Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-02-19T18:05:42Z)
• Attention Prompting on Image for Large Vision-Language Models [63.794304207664176]
  本稿では,画像上の注意喚起という新しいプロンプト手法を提案する。 我々は,CLIPのような補助モデルを用いて,テキストクエリに依存する入力画像に対するアテンションヒートマップを生成する。 各種バイソン言語ベンチマークの実験により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-09-25T17:59:13Z)
• Instruction Tuning-free Visual Token Complement for Multimodal LLMs [51.138806401996696]
  マルチモーダルな大言語モデル(MLLM)は、視覚と言語の間のエレガントな橋渡しを約束している。 本稿では,MLLM が欠落した視覚機能を取り戻すのに役立つ Visual Token Complement フレームワーク (VTC) を提案する。 我々のVTCは、テキスト不関連特徴を特定するためのガイドとしてテキスト・ツー・イメージ生成を統合し、視覚的セレクタを開発し、補完的な視覚的トークンを生成する。
  論文  参考訳（メタデータ） (2024-08-09T12:13:01Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Finer: Investigating and Enhancing Fine-Grained Visual Concept Recognition in Large Vision Language Models [57.95366341738857]
  詳細な分析では、命令調整されたLVLMはモダリティギャップを示し、同じ概念に対応するテキスト入力と視覚入力の相違を示す。 我々は,LVLMの細粒度視覚理解能力を評価するために,複数の属性中心評価ベンチマークであるFinerを提案し,説明可能性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-26T05:43:51Z)
• VLMAE: Vision-Language Masked Autoencoder [21.97700040013084]
  視覚言語事前学習のための視覚言語マスク付きオートエンコーダフレームワーク(VLMAE)を提案する。 VLMAEは視覚的生成学習を採用しており、モデルが細粒度で偏りのない特徴を取得するのを容易にする。
  論文  参考訳（メタデータ） (2022-08-19T14:39:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。