論文の概要: Visual Position Prompt for MLLM based Visual Grounding

• arxiv url: http://arxiv.org/abs/2503.15426v2
• Date: Mon, 24 Mar 2025 16:34:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:38:54.745304
• Title: Visual Position Prompt for MLLM based Visual Grounding
• Title（参考訳）: MLLMに基づく視覚的接地のための視覚的位置プロンプト
• Authors: Wei Tang, Yanpeng Sun, Qinying Gu, Zechao Li,
• Abstract要約: 本稿では,視覚位置プロンプトを備えたMLLMであるVPP-LLaVAを導入し,その接地性能を向上させる。 グローバルVPPは、入力画像に学習可能な軸状の埋め込みをオーバーレイし、構造化空間的手がかりを提供する。 また、0.6Mサンプルを用いたVPP-SFTデータセットを導入し、高品質なビジュアルグラウンドデータをコンパクトなフォーマットに統合し、効率的なモデルトレーニングを行う。
• 参考スコア（独自算出の注目度）: 29.34950670755899
• License:
• Abstract: Although Multimodal Large Language Models (MLLMs) excel at various image-related tasks, they encounter challenges in precisely aligning coordinates with spatial information within images, particularly in position-aware tasks such as visual grounding. This limitation arises from two key factors. First, MLLMs lack explicit spatial references, making it difficult to associate textual descriptions with precise image locations. Second, their feature extraction processes prioritize global context over fine-grained spatial details, leading to weak localization capability. To address this issue, we introduce VPP-LLaVA, an MLLM equipped with Visual Position Prompt (VPP) to improve its grounding capability. VPP-LLaVA integrates two complementary mechanisms. The global VPP overlays learnable, axis-like embeddings onto the input image to provide structured spatial cues. The local VPP focuses on fine-grained localization by incorporating position-aware queries, which suggests probable object locations. We also introduce a VPP-SFT dataset with 0.6M samples, consolidating high-quality visual grounding data into a compact format for efficient model training. Training on this dataset with VPP enhances the model's performance, achieving state-of-the-art results on standard grounding benchmarks despite using fewer training samples compared to other MLLMs like MiniGPT-v2, which rely on much larger datasets ($\sim$21M samples). The code and VPP-SFT dataset will be available at https://github.com/WayneTomas/VPP-LLaVA upon acceptance.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は様々な画像関連タスクに優れるが、特に視覚的接地のような位置認識タスクにおいて、画像内の空間情報と座標を正確に整合させるという課題に直面している。 この制限は2つの重要な要因から生じる。 第一に、MLLMは明示的な空間参照を欠いているため、テキスト記述と正確な画像位置を関連付けることは困難である。 第二に、それらの特徴抽出プロセスは、細粒度空間の詳細よりもグローバルコンテキストを優先し、ローカライゼーション能力の弱さにつながる。 この問題に対処するために,視覚位置プロンプト(VPP)を備えたMLLMであるVPP-LLaVAを導入する。 VPP-LLaVAは2つの相補的な機構を統合する。 グローバルVPPは、入力画像に学習可能な軸状の埋め込みをオーバーレイし、構造化空間的手がかりを提供する。 ローカルVPPは、推定可能なオブジェクト位置を示唆する位置認識クエリを組み込むことで、詳細なローカライゼーションに焦点を当てている。 また、0.6Mサンプルを用いたVPP-SFTデータセットを導入し、高品質なビジュアルグラウンドデータをコンパクトなフォーマットに統合し、効率的なモデルトレーニングを行う。 VPPを使用したこのデータセットのトレーニングは、より大規模なデータセット(\sim$21Mサンプル)に依存するMiniGPT-v2のような他のMLLMと比較して、トレーニングサンプルが少ないにもかかわらず、標準的なグラウンドベンチマークで最先端の結果を達成することによって、モデルのパフォーマンスを向上させる。 コードとVPP-SFTデータセットは、受け入れ次第https://github.com/WayneTomas/VPP-LLaVAで入手できる。

関連論文リスト

• GeoPix: Multi-Modal Large Language Model for Pixel-level Image Understanding in Remote Sensing [22.729750410621826]
  GeoPixは、画像理解機能をピクセルレベルまで拡張するRS MLLMである。 RS画像におけるマルチスケールオブジェクトのセグメンテーションを容易にするため、クラスワイズ学習可能なメモリモジュールをマスク予測器に統合する。 画素レベルの RS MLLM をトレーニングするための大規模データセットの欠如に対処するため,GeoPixInstruct データセットを構築した。
  論文  参考訳（メタデータ） (2025-01-12T14:45:27Z)
• Learning to Rank Pre-trained Vision-Language Models for Downstream Tasks [41.488394198111976]
  CLIPのような視覚言語モデル(VLM)は、分類ベンチマークで星のゼロショット能力を示している。 ラベル付けされていない下流タスクで最高のパフォーマンスでVLMを選択するのは簡単ではありません。 本稿では、教師なしの下流データセットのみを利用できる、テクスチャファイン教師付き視覚言語モデル選択の問題を紹介する。
  論文  参考訳（メタデータ） (2024-12-30T03:26:53Z)
• INF-LLaVA: Dual-perspective Perception for High-Resolution Multimodal Large Language Model [71.50973774576431]
  本稿では,高解像度画像認識のための新しいMLLM INF-LLaVAを提案する。 我々はDCM(Dual-perspective Cropping Module)を導入し、各サブイメージが局所的な視点から連続的な詳細を含むことを保証する。 第2に,グローバルな特徴と局所的な特徴の相互強化を可能にするDEM(Dual-perspective Enhancement Module)を導入する。
  論文  参考訳（メタデータ） (2024-07-23T06:02:30Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々はDraw-and-Understandフレームワークを提案し、視覚的プロンプト理解機能をMLLM(Multimodal Large Language Models)に統合する方法を探る。 視覚的なプロンプトにより、ユーザーはマルチモーダルなインストラクションを通じて対話することができ、モデルの対話性ときめ細かなイメージ理解を高めることができる。 本稿では,様々な学習済みMLLMに適応し,様々な視覚的プロンプトを認識可能な汎用アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• PIN: Positional Insert Unlocks Object Localisation Abilities in VLMs [55.8550939439138]
  VLM(Vision-Language Models)は、大きな言語モデルと視覚システムを統合することで、大きな可能性を秘めている。 これらのモデルは、主にキャプションを含むマルチモーダルデータに対するトレーニングのため、オブジェクトローカライゼーションの基本的なコンピュータビジョンタスクにおいて課題に直面している。 本稿では,空間的プロンプトであるPIN(Input-Agnostic Positional Insert)を導入する。 我々のPINモジュールは、新しい出力ヘッドを必要とせずに、合成データに対する単純な次トーケン予測タスクで訓練されている。
  論文  参考訳（メタデータ） (2024-02-13T18:39:18Z)
• GroundVLP: Harnessing Zero-shot Visual Grounding from Vision-Language Pre-training and Open-Vocabulary Object Detection [24.48128633414131]
  画像テキストペアと純粋なオブジェクト検出データから学習した既存のモデルから視覚的グラウンドティング能力を利用するゼロショット手法を提案する。 提案手法は,RefCOCO/+/gデータセットにおいて,他のゼロショット法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-22T20:14:55Z)
• Optimal Transport Aggregation for Visual Place Recognition [9.192660643226372]
  SALADは,NetVLADの局所的特徴のソフトアサインを最適な輸送問題としてクラスタに再配置する。 SALADでは,機能間クラスタ関係とクラスタ間クラスタ関係の両方を考慮するとともに,非形式的と考えられる特徴を選択的に破棄する'ダストビン'クラスタも導入する。 我々のシングルステージ手法は、パブリックなVPRデータセットの単一ステージベースラインを超えるだけでなく、2段階の手法を超越し、コストを大幅に高めに再ランク付けする。
  論文  参考訳（メタデータ） (2023-11-27T15:46:19Z)
• Adapting Pre-trained Language Models to Vision-Language Tasks via Dynamic Visual Prompting [83.21164539349273]
  事前学習型言語モデル (PLM) はマルチメディア研究においてその役割を担っている。 本稿では,視覚言語推論タスクのスタンドアロンモデルとしてのPLMの探索に焦点をあてる。 ダイナミックビジュアル・プロンプティング(DVP)と呼ばれるPLMのための新しいトランスファー学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T07:19:28Z)
• Position-guided Text Prompt for Vision-Language Pre-training [121.15494549650548]
  本研究では,ビジョンランゲージ・プレトレーニングで訓練したクロスモーダルモデルの視覚的グラウンド化能力を高めるために,位置誘導型テキストプロンプト(PTP)パラダイムを提案する。 PTPは、与えられたブロック内のオブジェクトを予測したり、与えられたオブジェクトのブロックを後退させたりすることで、PTPが与えられた視覚的グラウンドタスクを補充するブランク問題に再構成する。 PTPはオブジェクト検出をベースとした手法で同等の結果を得るが、PTPがオブジェクト検出を破棄し、後続では不可能になるため、推論速度ははるかに速い。
  論文  参考訳（メタデータ） (2022-12-19T18:55:43Z)
• GLIPv2: Unifying Localization and Vision-Language Understanding [161.1770269829139]
  本稿では,ローカライズタスクとビジョンランゲージ(VL)理解タスクの両方を提供する,基底VL理解モデルGLIPv2を提案する。 GLIPv2は、ローカライゼーション事前トレーニングとビジョン言語事前トレーニングを3つの事前トレーニングタスクで統合する。 一つのGLIPv2モデルが,様々なローカライゼーションおよび理解タスクにおいて,SoTAに近い性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-06-12T20:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。