論文の概要: CREATE: Creativity Evaluation of VLMs using the Visual Remote Associates Test

• arxiv url: http://arxiv.org/abs/2610.18569v1
• Date: Tue, 13 Oct 2026 15:38:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 20:37:26.730621
• Title: CREATE: Creativity Evaluation of VLMs using the Visual Remote Associates Test
• Title（参考訳）: CREATE:ビジュアルリモートアソシエイトテストによるVLMの創造性評価
• Abstract要約: 視覚言語モデル(VLM)は、視覚的なストーリーテリング、デザインのアイデア、芸術解釈、広告といった創造的なタスクに使用される。 本稿では、155の視覚的リモートアソシエイトテスト問題を含むベンチマークであるCREATEを紹介する。 これらの問題は、解法が3つの異なる画像の基盤となる接続を見つける必要がある。
• 参考スコア（独自算出の注目度）: 21.283256286811937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision language models (VLMs) are used in creative tasks such as visual storytelling, design ideation, art interpretation, and advertising. Yet we lack principled ways to measure the lateral reasoning of these models compared to human potential. We introduce CREATE, a semi-automatically constructed benchmark containing 155 visual Remote Associates Test problems. These problems require a solver to find an underlying connection among three seemingly dissimilar images. We conduct a human study (N=25) to validate and ground the quality of our benchmark, and evaluate 11 VLMs. Our findings show that most VLMs underperform humans on this task. Our experiments indicate that the associative ability of VLMs depends on the cue concepts provided in the text and does not universally extend to visual puzzles.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚的なストーリーテリング、デザインのアイデア、芸術解釈、広告といった創造的なタスクに使用される。 しかし、人間の可能性と比較して、これらのモデルの側面的推論を測定するための原則的な方法が欠如しています。 本稿では、155の視覚的リモートアソシエイトテスト問題を含む半自動構築ベンチマークCREATEを紹介する。 これらの問題は、解法が3つの異なる画像の基盤となる接続を見つける必要がある。 我々は、ベンチマークの品質を検証し、基礎づけるために、人間による研究(N=25)を行い、11のVLMを評価した。 以上の結果から,ほとんどのVLMは,この作業において人間を過小評価していることがわかった。 実験の結果,VLMの連想能力はテキストのcue概念に依存しており,視覚パズルに普遍的に拡張するものではないことが示唆された。

関連論文リスト

• MindJourney: Test-Time Scaling with World Models for Spatial Reasoning [97.61985090279961]
  視覚言語モデルのためのテスト時間スケーリングフレームワークであるMindJourneyを提案する。 我々は,代表的空間推論ベンチマークSATにおいて,MindJourneyが平均7.7%以上の性能向上を達成したことを示す。 また,本手法は,強化学習により訓練した試験時間推定VLMも改善する。
  論文  参考訳（メタデータ） (2025-07-16T17:59:36Z)
• Response Wide Shut? Surprising Observations in Basic Vision Language Model Capabilities [54.94982467313341]
  視覚言語モデル(VLM)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 我々は、設計のどのコンポーネントが欠落しているかを調査する一連のテストを構築することで、基本的な視覚的タスクにおけるSoTA VLMの限界を理解することにしました。
  論文  参考訳（メタデータ） (2025-07-10T15:26:41Z)
• Hidden in plain sight: VLMs overlook their visual representations [48.83628674170634]
  視覚言語モデル(VLM)と視覚エンコーダを比較し、これらのモダリティをまたいで統合する能力を理解する。 VLMは視覚エンコーダよりも著しく性能が悪く、近距離性能に低下することがわかった。
  論文  参考訳（メタデータ） (2025-06-09T17:59:54Z)
• Vision language models are unreliable at trivial spatial cognition [0.2902243522110345]
  視覚言語モデル(VLM)は、画像から関連する視覚空間情報を抽出するように設計されている。 そこで我々は,テーブル上に配置されたオブジェクトの3Dシーンを画像で表現したベンチマークデータセットであるTableTestを開発し,それを最先端のVLMの評価に使用した。 結果は、同等の記述を使用するプロンプトの小さなバリエーションによって、パフォーマンスが劣化する可能性があることを示している。
  論文  参考訳（メタデータ） (2025-04-22T17:38:01Z)
• iVISPAR -- An Interactive Visual-Spatial Reasoning Benchmark for VLMs [4.34964016971127]
  iVISPARは、視覚言語モデル(VLM)がエージェントとして働く空間的推論能力を評価するために設計されたインタラクティブなベンチマークである。 このベンチマークは、ビジュアル3D、2D、テキストベースの入力モダリティをサポートし、VLMの計画と推論スキルの包括的な評価を可能にする。 その結果、VLMは3次元やテキストベースの設定に比べて2次元のタスクでは優れていたが、複雑な空間構成に苦慮し、常に人間のパフォーマンスに欠けていたことが示唆された。
  論文  参考訳（メタデータ） (2025-02-05T14:29:01Z)
• Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
  VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。 本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2024-08-13T08:26:32Z)
• What is the Visual Cognition Gap between Humans and Multimodal LLMs? [63.81347276258992]
  MLLM(Multimodal Large Language Models)の視覚認知能力を評価し,その性能を人間の視覚認知研究と比較した。 我々の比較実験では、MLLMと人間の知能のギャップが明らかになっている。 我々は,MaRs-VQAとQwen2-VCogベースラインモデルの公開が,人間の視覚認知能力を持つ次世代MLLMに向けて進展をもたらすと考えている。
  論文  参考訳（メタデータ） (2024-06-14T22:02:21Z)
• How Far Are We from Intelligent Visual Deductive Reasoning? [41.4377002379162]
  私たちは、より洗練されているが探求の少ない領域である、視覚に基づく誘惑的推論を掘り下げる。 現在のSOTA VLMでは、未公表の盲点が発見されている。 LLMに適用した場合に有効な標準的な戦略は、視覚的推論タスクによってもたらされる課題にシームレスに対応しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-07T18:35:54Z)
• See, Think, Confirm: Interactive Prompting Between Vision and Language Models for Knowledge-based Visual Reasoning [60.43585179885355]
  本稿では,知識に基づく視覚推論のための新しいフレームワークであるInteractive Prompting Visual Reasoner(IPVR)を提案する。 IPVRには3つのステージがある。 我々は,知識に基づく視覚的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-01-12T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。