論文の概要: DivScene: Benchmarking LVLMs for Object Navigation with Diverse Scenes and Objects

• arxiv url: http://arxiv.org/abs/2410.02730v2
• Date: Sat, 12 Oct 2024 20:56:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:13:18.740647
• Title: DivScene: Benchmarking LVLMs for Object Navigation with Diverse Scenes and Objects
• Title（参考訳）: DivScene: 多様なシーンとオブジェクトによるオブジェクトナビゲーションのためのLVLMのベンチマーク
• Authors: Zhaowei Wang, Hongming Zhang, Tianqing Fang, Ye Tian, Yue Yang, Kaixin Ma, Xiaoman Pan, Yangqiu Song, Dong Yu,
• Abstract要約: 本稿では,多数のシーンタイプにおいて,多様な対象物にナビゲートする新たな課題について検討する。 我々は、模倣学習によりLVLM(Large Vision Language Model)を微調整することにより、エンドツーエンドのエンボディエージェントであるNatVLMを構築した。 我々のエージェントは、GPT-4oを超える成功率を20%以上達成する。
• 参考スコア（独自算出の注目度）: 84.73092715537364
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Object navigation in unknown environments is crucial for deploying embodied agents in real-world applications. While we have witnessed huge progress due to large-scale scene datasets, faster simulators, and stronger models, previous studies mainly focus on limited scene types and target objects. In this paper, we study a new task of navigating to diverse target objects in a large number of scene types. To benchmark the problem, we present a large-scale scene dataset, DivScene, which contains 4,614 scenes across 81 different types. With the dataset, we build an end-to-end embodied agent, NatVLM, by fine-tuning a Large Vision Language Model (LVLM) through imitation learning. The LVLM is trained to take previous observations from the environment and generate the next actions. We also introduce CoT explanation traces of the action prediction for better performance when tuning LVLMs. Our extensive experiments find that we can build a performant LVLM-based agent through imitation learning on the shortest paths constructed by a BFS planner without any human supervision. Our agent achieves a success rate that surpasses GPT-4o by over 20%. Meanwhile, we carry out various analyses showing the generalization ability of our agent. Our code and data are available at https://github.com/zhaowei-wang-nlp/DivScene.
• Abstract（参考訳）: 未知の環境でのオブジェクトナビゲーションは、現実世界のアプリケーションにエンボディエージェントを配置するのに不可欠である。 大規模なシーンデータセット、より高速なシミュレータ、より強力なモデルによる大きな進歩を目の当たりにしてきたが、これまでの研究は主に限られたシーンタイプとターゲットオブジェクトに焦点を当てていた。 本稿では,多数のシーンタイプにおいて,多様な対象物にナビゲートする新たな課題について検討する。 問題をベンチマークするために,81種類の異なる4,614シーンを含む大規模シーンデータセットDivSceneを提案する。 このデータセットを用いて、模倣学習によりLVLM(Large Vision Language Model)を微調整することにより、エンドツーエンドのエンボディエージェントであるNatVLMを構築する。 LVLMは、環境から以前の観測を行い、次のアクションを生成するように訓練されている。 また,LVLMのチューニング時の動作予測のCoT説明トレースも導入した。 我々は,BFSプランナーが構築した最短経路を人間の監督なしに模倣学習することで,実演的なLVLMエージェントを構築できることを見出した。 我々のエージェントは、GPT-4oを超える成功率を20%以上達成する。 一方,エージェントの一般化能力について様々な分析を行った。 私たちのコードとデータはhttps://github.com/zhaowei-wang-nlp/DivScene.comで公開されています。

関連論文リスト

• ROOT: VLM based System for Indoor Scene Understanding and Beyond [83.71252153660078]
  ROOTは、室内シーンの分析を強化するために設計されたVLMベースのシステムである。 rootnameは、屋内シーンの理解を促進し、3Dシーン生成や組み込みAIなど、さまざまな下流アプリケーションに有効であることを証明します。
  論文  参考訳（メタデータ） (2024-11-24T04:51:24Z)
• SG-Nav: Online 3D Scene Graph Prompting for LLM-based Zero-shot Object Navigation [83.4599149936183]
  既存のゼロショットオブジェクトナビゲーション手法は、空間的に閉じたオブジェクトのテキストでLCMをプロンプトする。 本稿では,3次元シーングラフを用いて観察されたシーンを表現することを提案する。 我々は,MP3D,HM3D,RoboTHOR環境において,SG-Navが従来のゼロショット法を10%以上のSRで上回る大規模な実験を行った。
  論文  参考訳（メタデータ） (2024-10-10T17:57:19Z)
• Probing Multimodal Large Language Models for Global and Local Semantic Representations [57.25949445963422]
  マルチモーダル大言語モデルのどの層がグローバルな画像情報に最も力を注いでいるかを検討する。 本研究では,モデルの中間層が,よりグローバルな意味情報を符号化できることを見出した。 最上位のレイヤが過度にローカル情報に集中していることが分かり、グローバル情報をエンコードする能力の低下につながります。
  論文  参考訳（メタデータ） (2024-02-27T08:27:15Z)
• DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language Models (Exemplified as A Video Agent) [73.10899129264375]
  本稿では,LLMによる動的シーン理解のための包括的かつ概念的にエレガントなシステムであるドラモンGPTについて検討する。 質問/タスクのあるビデオが与えられた場合、DoraemonGPTは入力されたビデオをタスク関連の属性を格納するシンボリックメモリに変換することから始める。 我々は,DoraemonGPTの有効性を,3つのベンチマークといくつかのアプリ内シナリオで広範囲に評価した。
  論文  参考訳（メタデータ） (2024-01-16T14:33:09Z)
• Griffon: Spelling out All Object Locations at Any Granularity with Large Language Models [30.20915403608803]
  Griffonは、大規模な視覚言語モデルのための言語プロンプトローカライゼーションデータセットである。 十分に設計されたパイプラインを通じて、エンドツーエンドでトレーニングされる。 精細なRefCOCOシリーズとFlickr30K Entitiesで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-24T15:35:07Z)
• Dense Video Object Captioning from Disjoint Supervision [77.47084982558101]
  本稿では,高密度ビデオオブジェクトキャプションのための新しいタスクとモデルを提案する。 このタスクは、ビデオにおける空間的および時間的局所化を統一する。 我々は、この新しいタスクの強力なベースラインにおいて、我々のモデルがどのように改善されているかを示す。
  論文  参考訳（メタデータ） (2023-06-20T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。