論文の概要: ViSTa Dataset: Do vision-language models understand sequential tasks?

• arxiv url: http://arxiv.org/abs/2411.13211v2
• Date: Thu, 21 Nov 2024 16:37:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 11:59:08.733708
• Title: ViSTa Dataset: Do vision-language models understand sequential tasks?
• Title（参考訳）: ViSTa Dataset: 視覚言語モデルはシーケンシャルなタスクを理解できますか?
• Authors: Evžen Wybitul, Evan Ryan Gunter, Mikhail Seleznyov, David Lindner,
• Abstract要約: 強化学習における報酬モデルとして視覚言語モデル(VLM)を使用することは、コスト削減と安全性の向上を約束する。 逐次タスクの視覚的理解を評価するためのデータセットであるViSTaを紹介する。 ViSTaは4000本以上のビデオと、仮想ホーム、Minecraft、および現実世界の環境におけるステップバイステップの説明で構成されている。
• 参考スコア（独自算出の注目度）: 6.039062076849557
• License:
• Abstract: Using vision-language models (VLMs) as reward models in reinforcement learning holds promise for reducing costs and improving safety. So far, VLM reward models have only been used for goal-oriented tasks, where the agent must reach a particular final outcome. We explore VLMs' potential to supervise tasks that cannot be scored by the final state alone. To this end, we introduce ViSTa, a dataset for evaluating Vision-based understanding of Sequential Tasks. ViSTa comprises over 4,000 videos with step-by-step descriptions in virtual home, Minecraft, and real-world environments. Its novel hierarchical structure -- basic single-step tasks composed into more and more complex sequential tasks -- allows a fine-grained understanding of how well VLMs can judge tasks with varying complexity. To illustrate this, we use ViSTa to evaluate state-of-the-art VLMs, including CLIP, ViCLIP, and GPT-4o. We find that, while they are all good at object recognition, they fail to understand sequential tasks, with only GPT-4o achieving non-trivial performance.
• Abstract（参考訳）: 強化学習における報酬モデルとして視覚言語モデル(VLM)を使用することは、コスト削減と安全性の向上を約束する。 これまでのところ、VLM報酬モデルは目標指向のタスクにのみ使われており、エージェントは特定の最終結果に到達する必要がある。 最終状態だけでは達成できないタスクを監督するVLMの可能性を探る。 この目的のために、視覚に基づく逐次的タスクの理解を評価するデータセットViSTaを紹介する。 ViSTaは4000本以上のビデオと、仮想ホーム、Minecraft、および現実世界の環境におけるステップバイステップの説明で構成されている。 その新しい階層構造 — より複雑なシーケンシャルなタスクで構成された基本的な単一ステップタスク — は、VLMがいかに複雑なタスクを判断できるかを詳細に理解することを可能にする。 これを説明するために、私たちは、CLIP、ViCLIP、GPT-4oを含む最先端のVLMを評価するためにViSTaを使用します。 オブジェクト認識に長けているにもかかわらず、GPT-4oだけが非自明な性能を達成するため、シーケンシャルなタスクを理解できないことがわかった。

関連論文リスト

• From Generalist to Specialist: Adapting Vision Language Models via Task-Specific Visual Instruction Tuning [26.21049702284394]
  大きな視覚言語モデル(VLM)は、大きな言語モデルと視覚エンコーダを組み合わせて、様々なタスクにおける約束を示す。 タスク特化モデル(TSM)を統合することで、VLMのタスク特化性を高める新しいフレームワークであるVITaskを紹介する。
  論文  参考訳（メタデータ） (2024-10-09T01:24:04Z)
• DivScene: Benchmarking LVLMs for Object Navigation with Diverse Scenes and Objects [84.73092715537364]
  本稿では,多数のシーンタイプにおいて,多様な対象物にナビゲートする新たな課題について検討する。 我々は、模倣学習によりLVLM(Large Vision Language Model)を微調整することにより、エンドツーエンドのエンボディエージェントであるNatVLMを構築した。 我々のエージェントは、GPT-4oを超える成功率を20%以上達成する。
  論文  参考訳（メタデータ） (2024-10-03T17:49:28Z)
• @Bench: Benchmarking Vision-Language Models for Human-centered Assistive Technology [31.779074930032184]
  視覚障害者を支援するための人間中心補助技術(AT)は、複数のタスクを同時に実行することのできるジェネラリストへと進化している。 われわれはまず、PVIsで事前設計されたユーザースタディによってガイドされた新しいATベンチマーク(@Bench)を作成する。 さらに、全てのタスクを同時に処理し、PVIを支援するためにより補助的な機能に拡張できる新しいATモデル(@Model)を提案する。
  論文  参考訳（メタデータ） (2024-09-21T18:30:17Z)
• Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
  VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。 本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2024-08-13T08:26:32Z)
• VSP: Assessing the dual challenges of perception and reasoning in spatial planning tasks for VLMs [102.36953558562436]
  視覚言語モデル(VLM)は、エキサイティングな言語モデル(LM)のクラスである。 VLMの未調査能力の1つは、視覚空間計画である。 本研究は,これらのモデルにおける空間計画能力を概ね評価するベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-07-02T00:24:01Z)
• TaskCLIP: Extend Large Vision-Language Model for Task Oriented Object Detection [23.73648235283315]
  タスク指向オブジェクト検出は、特定のタスクを達成するのに適したオブジェクトを見つけることを目的としている。 最近のソリューションは主にオールインワンモデルです。 汎用オブジェクト検出とタスク誘導オブジェクト選択からなるより自然な2段階設計であるTaskCLIPを提案する。
  論文  参考訳（メタデータ） (2024-03-12T22:33:02Z)
• Vision-Flan: Scaling Human-Labeled Tasks in Visual Instruction Tuning [53.93074108238167]
  現在までに最も多種多様なビジュアル・インストラクション・チューニング・データセットであるVision-Flanを構築している。 本稿では、VLMをVision-Flan上で微調整し、さらにGPT-4合成データに基づいて調整する2段階の命令チューニングフレームワークを提案する。 この2段階のチューニングフレームワークは、従来の1段階の視覚的チューニングフレームワークよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-02-18T19:38:44Z)
• PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs [140.14239499047977]
  視覚言語モデル(VLM)は、論理的推論から視覚的理解に至るまで、様々なタスクにわたって印象的な能力を示している。 PIVOT(Prompting with Iterative Visual Optimization)と呼ばれる新しい視覚的プロンプト手法を提案する。 私たちのアプローチは、ロボットのトレーニングデータやさまざまな環境でのナビゲーション、その他の能力なしに、ロボットシステムのゼロショット制御を可能にします。
  論文  参考訳（メタデータ） (2024-02-12T18:33:47Z)
• A Continual Learning Paradigm for Non-differentiable Visual Programming Frameworks on Visual Reasoning Tasks [51.053901491986025]
  様々な視覚的推論タスクにまたがって,VisProgの継続的学習パラダイムを提案する。 我々のCLVPは、よく訓練されたタスク固有モデルの視覚的サブモジュールに、段階的に、そして、アンチフォッゲッティングな方法で蒸留する。
  論文  参考訳（メタデータ） (2023-09-18T14:28:47Z)
• One does not fit all! On the Complementarity of Vision Encoders for Vision and Language Tasks [59.49639580525051]
  マルチモーダルモデルはビジョン・アンド・ランゲージ(V+L)タスクの解決を目的としている。 現在の研究は、テキスタイルの事前訓練されたVEが汎用エンコーダとして機能すると仮定している。 本研究では,異なるVEに格納されている情報が相補的であるかどうかを,分析に焦点をあてる。
  論文  参考訳（メタデータ） (2022-10-12T16:31:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。