論文の概要: CoLLaVO: Crayon Large Language and Vision mOdel

• arxiv url: http://arxiv.org/abs/2402.11248v4
• Date: Sun, 2 Jun 2024 17:34:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 18:33:51.123758
• Title: CoLLaVO: Crayon Large Language and Vision mOdel
• Title（参考訳）: CoLLaVO:Cryon Large LanguageとVision mOdel
• Authors: Byung-Kwan Lee, Beomchan Park, Chae Won Kim, Yong Man Ro,
• Abstract要約: 現在のビジョン言語モデルが本当に品質の高いオブジェクトレベルの画像理解能力を持っているかどうかは、まだ解明されていない。 その結果,現在のVLMのイメージ理解能力は,視覚言語(VL)タスクにおけるゼロショット性能と強く相関していることが判明した。 オブジェクトレベルの画像理解を強化するために,Crayon Large Language and Vision mOdel (CoLLaVO)を提案する。 本稿では,視覚的指導指導中に,オブジェクトレベルのイメージ理解を忘れずに維持するためのDual QLoRAの学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 42.182009352159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable success of Large Language Models (LLMs) and instruction tuning drives the evolution of Vision Language Models (VLMs) towards a versatile general-purpose model. Yet, it remains unexplored whether current VLMs genuinely possess quality object-level image understanding capabilities determined from 'what objects are in the image?' or 'which object corresponds to a specified bounding box?'. Our findings reveal that the image understanding capabilities of current VLMs are strongly correlated with their zero-shot performance on vision language (VL) tasks. This suggests that prioritizing basic image understanding is crucial for VLMs to excel at VL tasks. To enhance object-level image understanding, we propose Crayon Large Language and Vision mOdel (CoLLaVO), which incorporates instruction tuning with Crayon Prompt as a new visual prompt tuning scheme based on panoptic color maps. Furthermore, we present a learning strategy of Dual QLoRA to preserve object-level image understanding without forgetting it during visual instruction tuning, thereby achieving a significant leap in numerous VL benchmarks in a zero-shot setting.
• Abstract（参考訳）: LLM(Large Language Models)とインストラクションチューニングの顕著な成功は、視覚言語モデル(VLM)の多目的汎用モデルへの進化を促進する。 しかし、現行のVLMが「画像にどのオブジェクトがあるのか」や「どのオブジェクトが指定されたバウンディングボックスに対応するのか」から判断される品質の高いオブジェクトレベルの画像理解能力を持っているかどうかはまだ不明である。 その結果,現在のVLMのイメージ理解能力は,視覚言語(VL)タスクにおけるゼロショット性能と強く相関していることが判明した。 このことは、VLMがVLタスクに精通する上で、基本的なイメージ理解の優先順位付けが重要であることを示唆している。 オブジェクトレベルの画像理解を強化するために,Crayon Prompt を用いた命令チューニングをパン光学カラーマップに基づく新しい視覚的プロンプトチューニング手法として組み込んだCrayon Large Language and Vision mOdel (CoLLaVO)を提案する。 さらに、Dual QLoRAの学習戦略として、視覚的命令チューニング中にオブジェクトレベルのイメージ理解を忘れずに保存し、ゼロショット設定で多数のVLベンチマークにおいて大きな飛躍を達成する。

関連論文リスト

• Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
  VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。 本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2024-08-13T08:26:32Z)
• How Well Can Vision Language Models See Image Details? [53.036922527685064]
  視覚言語モデルはどのようにして画像の詳細を見ることができるのか」を探求するために画素値予測タスクを導入する。 我々の研究は、VLM事前学習タスクと視覚エンコーダ適応の1つとして画素値予測を組み込むことで、下流画像言語理解タスクにおけるVLM性能が著しく向上することを明らかにする。
  論文  参考訳（メタデータ） (2024-08-07T17:59:40Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Finer: Investigating and Enhancing Fine-Grained Visual Concept Recognition in Large Vision Language Models [57.95366341738857]
  詳細な分析では、命令調整されたLVLMはモダリティギャップを示し、同じ概念に対応するテキスト入力と視覚入力の相違を示す。 我々は,LVLMの細粒度視覚理解能力を評価するために,複数の属性中心評価ベンチマークであるFinerを提案し,説明可能性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-26T05:43:51Z)
• Good Questions Help Zero-Shot Image Reasoning [110.1671684828904]
  質問駆動型視覚探索(QVix)は、大規模視覚言語モデル(LVLM)の探索能力を高める新しい促進戦略である。 QVixは、視覚的なシーンのより広い探索を可能にし、視覚的な質問応答や視覚的エンターテイメントといったタスクにおけるLVLMの推論精度と深さを改善している。 我々は,ScienceQAやきめ細かな視覚分類など,難易度の高いゼロショット視覚言語ベンチマークの評価を行い,QVixが既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-12-04T03:18:51Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• Teaching Structured Vision&Language Concepts to Vision&Language Models [46.344585368641006]
  SVLC(Structured Vision&Language Concepts)の概念について紹介する。 SVLCは、オブジェクト属性、関係、および、テキストに存在し、画像で見える状態を含む。 本稿では,VLモデルのSVLC理解を高めるための,よりエレガントなデータ駆動手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:54:10Z)
• VLMAE: Vision-Language Masked Autoencoder [21.97700040013084]
  視覚言語事前学習のための視覚言語マスク付きオートエンコーダフレームワーク(VLMAE)を提案する。 VLMAEは視覚的生成学習を採用しており、モデルが細粒度で偏りのない特徴を取得するのを容易にする。
  論文  参考訳（メタデータ） (2022-08-19T14:39:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。