論文の概要: Evaluating Compositional Scene Understanding in Multimodal Generative Models

• arxiv url: http://arxiv.org/abs/2503.23125v1
• Date: Sat, 29 Mar 2025 15:34:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:38:35.154096
• Title: Evaluating Compositional Scene Understanding in Multimodal Generative Models
• Title（参考訳）: 多モード生成モデルにおける構成シーン理解の評価
• Authors: Shuhao Fu, Andrew Jun Lee, Anna Wang, Ida Momennejad, Trevor Bihl, Hongjing Lu, Taylor W. Webb,
• Abstract要約: 本稿では,テキスト・ツー・イメージおよびマルチモーダル・ビジョン言語モデルの生成における構成的視覚処理能力の評価を行う。 結果から,これらのシステムは構成的および関係的タスクを解く能力を示すが,その性能は人間よりもかなり低いことが示唆された。
• 参考スコア（独自算出の注目度）: 5.579337744072529
• License:
• Abstract: The visual world is fundamentally compositional. Visual scenes are defined by the composition of objects and their relations. Hence, it is essential for computer vision systems to reflect and exploit this compositionality to achieve robust and generalizable scene understanding. While major strides have been made toward the development of general-purpose, multimodal generative models, including both text-to-image models and multimodal vision-language models, it remains unclear whether these systems are capable of accurately generating and interpreting scenes involving the composition of multiple objects and relations. In this work, we present an evaluation of the compositional visual processing capabilities in the current generation of text-to-image (DALL-E 3) and multimodal vision-language models (GPT-4V, GPT-4o, Claude Sonnet 3.5, QWEN2-VL-72B, and InternVL2.5-38B), and compare the performance of these systems to human participants. The results suggest that these systems display some ability to solve compositional and relational tasks, showing notable improvements over the previous generation of multimodal models, but with performance nevertheless well below the level of human participants, particularly for more complex scenes involving many ($>5$) objects and multiple relations. These results highlight the need for further progress toward compositional understanding of visual scenes.
• Abstract（参考訳）: 視覚の世界は基本的に構成的です。 視覚シーンは、オブジェクトの合成とその関係によって定義される。 したがって、コンピュータビジョンシステムは、この構成性を反映して活用し、堅牢で一般化可能なシーン理解を実現することが不可欠である。 テキスト・ツー・イメージモデルとマルチモーダル・ビジョン言語モデルの両方を含む汎用・マルチモーダル・ジェネレーティブ・モデルの開発に向けて大きな努力が続けられてきたが、これらのシステムが複数のオブジェクトと関係の合成を含むシーンを正確に生成・解釈できるかどうかは不明である。 本研究では,現世代のテキスト・トゥ・イメージ(DALL-E3)とマルチモーダル・ビジョン言語モデル(GPT-4V, GPT-4o, Claude Sonnet 3.5, QWEN2-VL-72B, InternVL2.5-38B)における合成視覚処理能力の評価を行い,これらのシステムの性能を人体と比較する。 これらのシステムでは,従来のマルチモーダルモデルよりも顕著な改善が見られたが,その性能は人間よりもはるかに低かった。 これらの結果は、視覚シーンの構成的理解に向けたさらなる進歩の必要性を浮き彫りにした。

関連論文リスト

• Cross-Modal Consistency in Multimodal Large Language Models [33.229271701817616]
  クロスモーダル一貫性という新しい概念を導入する。 実験結果から, GPT-4V内における視覚と言語モダリティの矛盾が明らかとなった。 我々の研究は、そのようなモデルの適切な利用に関する洞察と、その設計を強化するための潜在的な道のヒントを得る。
  論文  参考訳（メタデータ） (2024-11-14T08:22:42Z)
• MMCOMPOSITION: Revisiting the Compositionality of Pre-trained Vision-Language Models [85.10375181040436]
  本稿では,視覚言語モデルを包括的かつ正確に評価する新しい人間アノテーションベンチマークMMCOMPOSITIONを提案する。 GPT-4oのコンポジション性は,最も優れたオープンソースモデルよりも劣ることがわかった。
  論文  参考訳（メタデータ） (2024-10-13T05:35:09Z)
• In-Context Learning Improves Compositional Understanding of Vision-Language Models [2.762909189433944]
  合成画像理解は、トレーニングデータに存在する物体バイアスのため、かなり難しい課題である。 コントラストモデルと生成モデルを比較し、アーキテクチャの違い、事前学習データ、トレーニングタスクと損失を分析します。 提案手法は,複数の構成的理解データセットにまたがるベースラインモデルより優れている。
  論文  参考訳（メタデータ） (2024-07-22T09:03:29Z)
• The Revolution of Multimodal Large Language Models: A Survey [46.84953515670248]
  MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティをシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
  論文  参考訳（メタデータ） (2024-02-19T19:01:01Z)
• Lost in Translation: When GPT-4V(ision) Can't See Eye to Eye with Text. A Vision-Language-Consistency Analysis of VLLMs and Beyond [7.760124498553333]
  視覚言語モデルが連続的・独立的に視覚と言語タスクを実行するかを検討する。 マルチモーダル設定において、異なるモーダル間の能力格差を定量化する体系的枠組みを導入する。 本稿では,視覚関連課題に挑戦するタスクのパフォーマンスを効果的に向上する手法である"Vision Description Prompting"を紹介する。
  論文  参考訳（メタデータ） (2023-10-19T06:45:11Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
  視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。 視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-10-28T23:00:40Z)
• UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes [91.24112204588353]
  我々は、幅広いコンピュータビジョンタスクをモデル化できる統一的なアプローチであるUViMを紹介する。 以前のモデルとは対照的に、UViMは全てのタスクに対して同じ機能を持つ。 多様な3つの視覚課題に対するUViMの有効性を実証する。
  論文  参考訳（メタデータ） (2022-05-20T17:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。