論文の概要: LVLM-empowered Multi-modal Representation Learning for Visual Place Recognition

• arxiv url: http://arxiv.org/abs/2407.06730v1
• Date: Tue, 9 Jul 2024 10:15:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 18:26:46.480629
• Title: LVLM-empowered Multi-modal Representation Learning for Visual Place Recognition
• Title（参考訳）: LVLMを用いた視覚的位置認識のためのマルチモーダル表現学習
• Authors: Teng Wang, Lingquan Meng, Lei Cheng, Changyin Sun,
• Abstract要約: 視覚シーンの画像データとテキスト記述を融合させることにより、識別可能なグローバル表現を構築しようとする。 モチベーションは2つある: 1) 現在のLVLM(Large Vision-Language Models)は、画像のテキスト記述を生成する際に、視覚的な指示に従う際、異常な創発的能力を示す。 有望ではあるが、マルチモーダルVPRソリューションの構築にLVLMを活用することは、効率的なマルチモーダル融合において困難である。
• 参考スコア（独自算出の注目度）: 17.388776062997813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual place recognition (VPR) remains challenging due to significant viewpoint changes and appearance variations. Mainstream works tackle these challenges by developing various feature aggregation methods to transform deep features into robust and compact global representations. Unfortunately, satisfactory results cannot be achieved under challenging conditions. We start from a new perspective and attempt to build a discriminative global representations by fusing image data and text descriptions of the the visual scene. The motivation is twofold: (1) Current Large Vision-Language Models (LVLMs) demonstrate extraordinary emergent capability in visual instruction following, and thus provide an efficient and flexible manner in generating text descriptions of images; (2) The text descriptions, which provide high-level scene understanding, show strong robustness against environment variations. Although promising, leveraging LVLMs to build multi-modal VPR solutions remains challenging in efficient multi-modal fusion. Furthermore, LVLMs will inevitably produces some inaccurate descriptions, making it even harder. To tackle these challenges, we propose a novel multi-modal VPR solution. It first adapts pre-trained visual and language foundation models to VPR for extracting image and text features, which are then fed into the feature combiner to enhance each other. As the main component, the feature combiner first propose a token-wise attention block to adaptively recalibrate text tokens according to their relevance to the image data, and then develop an efficient cross-attention fusion module to propagate information across different modalities. The enhanced multi-modal features are compressed into the feature descriptor for performing retrieval. Experimental results show that our method outperforms state-of-the-art methods by a large margin with significantly smaller image descriptor dimension.
• Abstract（参考訳）: 視覚的位置認識(VPR)は、重要な視点の変化と外観の変化のために依然として困難である。 メインストリームは、深い特徴を堅牢でコンパクトなグローバル表現に変換する様々な特徴集約手法を開発することで、これらの課題に対処する。 残念なことに、困難な条件下では満足な結果が得られない。 我々は、新しい視点から始めて、視覚シーンの画像データとテキスト記述を融合させて、差別的なグローバル表現を構築しようとする。 モチベーションは2つある:(1)現在のLVLM(Large Vision-Language Models)は、画像のテキスト記述を生成する際に、視覚的指示に異常な創発的能力を示し、それによって効率よく柔軟な方法を提供し、(2)高レベルなシーン理解を提供するテキスト記述は、環境変動に対して強い堅牢性を示す。 有望ではあるが、マルチモーダルVPRソリューションの構築にLVLMを活用することは、効率的なマルチモーダル融合において困難である。 さらに、LVLMは必然的に不正確な記述を生成するため、さらに困難になる。 これらの課題に対処するため、我々は新しいマルチモーダルVPRソリューションを提案する。 まず、訓練済みの視覚と言語の基礎モデルをVPRに適応させ、画像とテキストの特徴を抽出し、機能コンバインダに入力して互いに強化する。 特徴結合器は、まず、画像データに対する関連性に応じてテキストトークンを適応的に再分類するトークンワイドアテンションブロックを提案し、その後、異なるモダリティ間で情報を伝達する効率的なクロスアテンション融合モジュールを開発する。 強化されたマルチモーダル機能は、検索を行うための特徴記述子に圧縮される。 実験結果から,本手法は画像記述子次元が著しく小さい大きなマージンで最先端の手法よりも優れていた。

関連論文リスト

• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
  Leopardは、複数のテキストリッチイメージを含む視覚言語タスクを扱うビジョン言語モデルである。 まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。 第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを開発した。
  論文  参考訳（メタデータ） (2024-10-02T16:55:01Z)
• AdaptVision: Dynamic Input Scaling in MLLMs for Versatile Scene Understanding [96.01726275876548]
  本稿では,様々な解像度の入力画像を動的に処理するマルチモーダルな大規模言語モデルAdaptVisionを提案する。 画像のサイズやアスペクト比に応じて視覚トークンの数を調整する動的画像分割モジュールを考案する。 私たちのモデルは、解像度1008倍の1008ドルまでの画像を処理できます。
  論文  参考訳（メタデータ） (2024-08-30T03:16:49Z)
• Progressive Multi-modal Conditional Prompt Tuning [92.50645776024624]
  事前学習された視覚言語モデル(VLM)は、プロンプトによる顕著な一般化能力を示している。 本稿では,ProMPT(Progressive Multi-modal Conditional Prompt Tuning)を提案する。 ProMPTは、画像と電流の符号化情報を反復的に利用することにより、V-L機能の最適化と整合化を繰り返す構造を利用する。
  論文  参考訳（メタデータ） (2024-04-18T02:40:31Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。 具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。 MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• VLMAE: Vision-Language Masked Autoencoder [21.97700040013084]
  視覚言語事前学習のための視覚言語マスク付きオートエンコーダフレームワーク(VLMAE)を提案する。 VLMAEは視覚的生成学習を採用しており、モデルが細粒度で偏りのない特徴を取得するのを容易にする。
  論文  参考訳（メタデータ） (2022-08-19T14:39:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。