論文の概要: VSP: Assessing the dual challenges of perception and reasoning in spatial planning tasks for VLMs

• arxiv url: http://arxiv.org/abs/2407.01863v1
• Date: Tue, 2 Jul 2024 00:24:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 17:13:22.480434
• Title: VSP: Assessing the dual challenges of perception and reasoning in spatial planning tasks for VLMs
• Title（参考訳）: VSP:VLMにおける空間計画課題における知覚と推論の二重課題の評価
• Authors: Qiucheng Wu, Handong Zhao, Michael Saxon, Trung Bui, William Yang Wang, Yang Zhang, Shiyu Chang,
• Abstract要約: 視覚言語モデル(VLM)は、エキサイティングな言語モデル(LM)のクラスである。 VLMの未調査能力の1つは、視覚空間計画である。 本研究は,これらのモデルにおける空間計画能力を概ね評価するベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 102.36953558562436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision language models (VLMs) are an exciting emerging class of language models (LMs) that have merged classic LM capabilities with those of image processing systems. However, the ways that these capabilities combine are not always intuitive and warrant direct investigation. One understudied capability in VLMs is visual spatial planning -- the ability to comprehend the spatial arrangements of objects and devise action plans to achieve desired outcomes in visual scenes. In our study, we introduce VSP, a benchmark that 1) evaluates the spatial planning capability in these models in general, and 2) breaks down the visual planning task into finer-grained sub-tasks, including perception and reasoning, and measure the LMs capabilities in these sub-tasks. Our evaluation shows that both open-source and private VLMs fail to generate effective plans for even simple spatial planning tasks. Evaluations on the fine-grained analytical tasks further reveal fundamental deficiencies in the models' visual perception and bottlenecks in reasoning abilities, explaining their worse performance in the general spatial planning tasks. Our work illuminates future directions for improving VLMs' abilities in spatial planning. Our benchmark is publicly available at https://github.com/UCSB-NLP-Chang/Visual-Spatial-Planning.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、従来のLM機能を画像処理システムと統合した、エキサイティングな言語モデル(LM)である。 しかし、これらの能力が組み合わさる方法は必ずしも直感的ではなく、直接の捜査を保証しているわけではない。 視覚的な空間計画 - オブジェクトの空間的配置を理解し、視覚的なシーンで望ましい結果を達成するためのアクション計画を考案する能力である。 本研究では,そのベンチマークであるVSPを紹介する。 1)これらのモデルにおける空間計画能力の評価と評価 2)視覚計画課題を知覚や推論を含む細粒度のサブタスクに分解し,これらのサブタスクにおけるLMの能力を測定する。 評価の結果,オープンソースのVLMとプライベートなVLMは,簡単な空間計画タスクの効果的な計画作成に失敗していることがわかった。 きめ細かい分析課題の評価により、モデルの視覚的知覚と推論能力のボトルネックの根本的な欠陥が明らかになり、一般的な空間計画課題におけるそれらのパフォーマンスが悪化したことが説明される。 我々の研究は空間計画におけるVLMの能力向上に向けた今後の方向性を照らしている。 私たちのベンチマークはhttps://github.com/UCSB-NLP-Chang/Visual-Spatial-Planningで公開されています。

関連論文リスト

• On The Planning Abilities of OpenAI's o1 Models: Feasibility, Optimality, and Generalizability [59.72892401927283]
  さまざまなベンチマークタスクでOpenAIのo1モデルの計画能力を評価する。 その結果,o1-preview は GPT-4 よりもタスク制約に順応していることがわかった。
  論文  参考訳（メタデータ） (2024-09-30T03:58:43Z)
• Evaluation and Comparison of Visual Language Models for Transportation Engineering Problems [16.49637074299509]
  我々は、視覚に基づく輸送工学タスクのための最先端のビジョン言語モデル(VLM)について検討した。 画像分類作業は渋滞検出と亀裂識別を伴い, 物体検出ではヘルメット違反が同定された。 我々はこれらのVLMモデルの性能を評価するために、CLIP、BLIP、OWL-ViT、Llava-Next、およびクローズソースGPT-4oといったオープンソースモデルを適用した。
  論文  参考訳（メタデータ） (2024-09-03T20:24:37Z)
• Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
  VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。 本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2024-08-13T08:26:32Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [56.391404083287235]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Learning to Localize Objects Improves Spatial Reasoning in Visual-LLMs [38.02017186215372]
  大きな言語モデル(LLM)を視覚領域タスクに統合し、視覚的なLLM(V-LLM)を実現することにより、視覚言語タスクにおける例外的なパフォーマンスを実現している。 しかし、既存のV-LLMは空間的推論と局所化認識が弱い。 画像空間座標に基づく微調整目標が空間認識をV-LLMに注入する方法について検討する。
  論文  参考訳（メタデータ） (2024-04-11T03:09:34Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)
• EgoPlan-Bench: Benchmarking Multimodal Large Language Models for Human-Level Planning [84.6451394629312]
  実世界のシナリオにおけるMLLMの計画能力を評価するベンチマークであるEgoPlan-Benchを紹介する。 EgoPlan-Benchは、人間レベルのタスクプランニングを実現するためのMLLMの改善のかなりの範囲を浮き彫りにする。 また,EgoPlan-Bench上でのモデル性能を効果的に向上する特殊命令チューニングデータセットであるEgoPlan-ITを提案する。
  論文  参考訳（メタデータ） (2023-12-11T03:35:58Z)
• Look Before You Leap: Unveiling the Power of GPT-4V in Robotic Vision-Language Planning [32.045840007623276]
  本稿では,ロボットビジョン・ランゲージ計画(ViLa)について紹介する。 ViLaは、知覚データを推論と計画プロセスに直接統合する。 実ロボットとシミュレーション環境の両方で実施した評価は,既存のLCMプランナよりもViLaの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-29T17:46:25Z)
• LSM: Learning Subspace Minimization for Low-level Vision [78.27774638569218]
  我々は、正規化項を学習可能な部分空間制約に置き換え、データ項をドメイン知識を活用するために保存する。 この学習サブスペース最小化(LSM)フレームワークは、多くの低レベル視覚タスクのネットワーク構造とパラメータを統一する。 インタラクティブな画像セグメンテーション、ビデオセグメンテーション、ステレオマッチング、オプティカルフローを含む4つの低レベルタスクについてLSMフレームワークを実証し、様々なデータセット上でネットワークを検証した。
  論文  参考訳（メタデータ） (2020-04-20T10:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。