論文の概要: Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs

• arxiv url: http://arxiv.org/abs/2406.14544v1
• Date: Thu, 20 Jun 2024 17:54:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 12:23:24.019377
• Title: Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs
• Title（参考訳）: Prism: VLMの機能の分離と評価のためのフレームワーク
• Authors: Yuxuan Qiao, Haodong Duan, Xinyu Fang, Junming Yang, Lin Chen, Songyang Zhang, Jiaqi Wang, Dahua Lin, Kai Chen,
• Abstract要約: 視覚的問題解決に関わる知覚と推論のプロセスを切り離すために設計された革新的フレームワークであるPrismを提示する。 プリズムは、VLMを利用してテキスト形式で視覚情報を抽出・調音する知覚段階と、抽出された視覚情報に基づいて応答を定式化する推論段階と、2つの異なる段階から構成される。 私たちの分析フレームワークは、視覚言語タスクのコスト効率のよいソリューションとして、Prismの可能性について、いくつかの貴重な洞察を提供する。
• 参考スコア（独自算出の注目度）: 83.24033574914425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Language Models (VLMs) demonstrate remarkable proficiency in addressing a wide array of visual questions, which requires strong perception and reasoning faculties. Assessing these two competencies independently is crucial for model refinement, despite the inherent difficulty due to the intertwined nature of seeing and reasoning in existing VLMs. To tackle this issue, we present Prism, an innovative framework designed to disentangle the perception and reasoning processes involved in visual question solving. Prism comprises two distinct stages: a perception stage that utilizes a VLM to extract and articulate visual information in textual form, and a reasoning stage that formulates responses based on the extracted visual information using a Large Language Model (LLM). This modular design enables the systematic comparison and assessment of both proprietary and open-source VLM for their perception and reasoning strengths. Our analytical framework provides several valuable insights, underscoring Prism's potential as a cost-effective solution for vision-language tasks. By combining a streamlined VLM focused on perception with a powerful LLM tailored for reasoning, Prism achieves superior results in general vision-language tasks while substantially cutting down on training and operational expenses. Quantitative evaluations show that Prism, when configured with a vanilla 2B LLaVA and freely accessible GPT-3.5, delivers performance on par with VLMs $10 \times$ larger on the rigorous multimodal benchmark MMStar. The project is released at: https://github.com/SparksJoe/Prism.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、様々な視覚的問題に対処する際、高い知覚力と推論能力を必要とする顕著な習熟度を示す。 これら2つの能力の独立性を評価することは、既存のVLMの観察と推論という相互に絡み合った性質のため固有の困難さにもかかわらず、モデルの改良に不可欠である。 この問題に対処するために,視覚的問題解決に関わる知覚と推論のプロセスを切り離すために設計された,革新的なフレームワークであるPrismを紹介する。 Prismは、VLMを利用してテキスト形式で視覚情報を抽出・調音する知覚段階と、抽出した視覚情報に基づいて、Large Language Model(LLM)を用いて応答を定式化する推論段階と、の2つの異なる段階から構成される。 このモジュール設計により、プロプライエタリなVLMとオープンソースのVLMの両方を、その知覚と推論の強さで体系的に比較し、評価することができる。 私たちの分析フレームワークは、視覚言語タスクのコスト効率のよいソリューションとして、Prismの可能性について、いくつかの貴重な洞察を提供する。 合理化されたVLMと推論に適した強力なLLMを組み合わせることで、Prismは訓練と運用費用を大幅に削減しつつ、一般的な視覚言語タスクにおいて優れた結果を得ることができる。 定量的評価によると、Prismはバニラ2B LLaVAと自由にアクセス可能なGPT-3.5で構成されている場合、厳格なマルチモーダルベンチマークMMStarで10ドル以上のVLMに匹敵する性能を提供する。 このプロジェクトは、https://github.com/SparksJoe/Prism.comでリリースされている。

関連論文リスト

• iVISPAR -- An Interactive Visual-Spatial Reasoning Benchmark for VLMs [4.381263829108405]
  VLM(Vision-Language Models)は、空間的推論と視覚的アライメントに苦しむことで知られている。 エージェントとして機能するVLMの空間的推論能力を評価するために設計された,インタラクティブなマルチモーダルベンチマークであるiVISPARを紹介する。
  論文  参考訳（メタデータ） (2025-02-05T14:29:01Z)
• Cognitive Paradigms for Evaluating VLMs on Visual Reasoning Task [3.2228025627337864]
  機械の視覚的推論を改善するには、ビジョン・ランゲージ・モデル(VLM)がどのように複雑な視覚的パターンを処理し、解釈するかを深く理解する必要がある。 本研究は,自然画像に基づくボナード問題に基づくVLM推論を体系的に解析する,認知に着想を得た新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:42:42Z)
• ProReason: Multi-Modal Proactive Reasoning with Decoupled Eyesight and Wisdom [42.03770972100087]
  本稿ではProReasonという新しいビジュアル推論フレームワークを紹介する。 ProReasonは、マルチランプロアクティブな知覚と分離されたビジョン推論機能を備えている。 実験の結果、ProReasonは既存のマルチステップ推論フレームワークとパッシブピアメソッドの両方より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-10-18T03:22:06Z)
• Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
  VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。 本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2024-08-13T08:26:32Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。