論文の概要: Map-based Modular Approach for Zero-shot Embodied Question Answering

• arxiv url: http://arxiv.org/abs/2405.16559v1
• Date: Sun, 26 May 2024 13:10:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 20:29:27.978008
• Title: Map-based Modular Approach for Zero-shot Embodied Question Answering
• Title（参考訳）: ゼロショット型質問応答に対するマップベースモジュラーアプローチ
• Authors: Koya Sakamoto, Daichi Azuma, Taiki Miyanishi, Shuhei Kurita, Motoaki Kawanabe,
• Abstract要約: EQA(Embodied Question Answering)は、未確認の環境をナビゲートするオブジェクトを識別する能力を測定するためのベンチマークタスクとして提案されている。 本研究では,フロンティアをベースとした地図作成により,実際のロボットが未知の環境をナビゲートできるモジュール型EQA手法を提案する。
• 参考スコア（独自算出の注目度）: 9.234108543963568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building robots capable of interacting with humans through natural language in the visual world presents a significant challenge in the field of robotics. To overcome this challenge, Embodied Question Answering (EQA) has been proposed as a benchmark task to measure the ability to identify an object navigating through a previously unseen environment in response to human-posed questions. Although some methods have been proposed, their evaluations have been limited to simulations, without experiments in real-world scenarios. Furthermore, all of these methods are constrained by a limited vocabulary for question-and-answer interactions, making them unsuitable for practical applications. In this work, we propose a map-based modular EQA method that enables real robots to navigate unknown environments through frontier-based map creation and address unknown QA pairs using foundation models that support open vocabulary. Unlike the questions of the previous EQA dataset on Matterport 3D (MP3D), questions in our real-world experiments contain various question formats and vocabularies not included in the training data. We conduct comprehensive experiments on virtual environments (MP3D-EQA) and two real-world house environments and demonstrate that our method can perform EQA even in the real world.
• Abstract（参考訳）: 視覚の世界において、自然言語で人間と対話できるロボットを構築することは、ロボット工学の分野で大きな課題となっている。 この課題を克服するために、Embodied Question Answering (EQA) は、人間が提示した質問に応答して、これまで目に見えない環境をナビゲートする物体を識別する能力を測定するためのベンチマークタスクとして提案されている。 いくつかの手法が提案されているが、それらの評価はシミュレーションに限られており、実世界のシナリオでの実験は行われていない。 さらに、これらの手法はすべて質問と回答の相互作用に限定された語彙で制約されており、実用的な応用には適さない。 本研究では,実際のロボットがフロンティアベースの地図作成を通じて未知の環境をナビゲートし,オープン語彙をサポートする基礎モデルを用いて未知のQAペアに対処することのできる,マップベースのモジュール型EQA手法を提案する。 Matterport 3D(MP3D)に関する以前のEQAデータセットの質問とは異なり、実際の実験では、トレーニングデータに含まれていない様々な質問形式や語彙が含まれています。 我々は,仮想環境(MP3D-EQA)と2つの実世界の住宅環境に関する総合的な実験を行い,実世界においてもEQAを実現できることを示す。

関連論文リスト

• Explore until Confident: Efficient Exploration for Embodied Question Answering [32.27111287314288]
  我々は、大きな視覚言語モデルの強力な意味推論機能を活用して、質問を効率的に探索し、答える。 深度情報とVLMの視覚的プロンプトに基づいて,まずシーンのセマンティックマップを構築する手法を提案する。 次に、コンフォメーション予測を用いて、自信に答えるVLMの質問を校正し、いつ探索を中止するかをロボットが知ることができるようにする。
  論文  参考訳（メタデータ） (2024-03-23T22:04:03Z)
• Scaling Instructable Agents Across Many Simulated Worlds [71.1284502230496]
  私たちのゴールは、シミュレーションされた3D環境で人間ができることを何でも達成できるエージェントを開発することです。 我々のアプローチは、最小限の仮定を示唆しながら、言語駆動の一般性に焦点を当てている。 我々のエージェントは、汎用的なヒューマンライクなインタフェースを使って、リアルタイムで環境と対話する。
  論文  参考訳（メタデータ） (2024-03-13T17:50:32Z)
• MOKA: Open-Vocabulary Robotic Manipulation through Mark-Based Visual Prompting [106.53784213239479]
  Moka(Marking Open-vocabulary Keypoint Affordances)は,視覚言語モデルを用いたロボット操作タスクの解法である。 我々のアプローチの核心は、物理的世界におけるVLMのRGB画像とロボットの動きの予測を橋渡しする、手頃さと動きのコンパクトなポイントベース表現である。 我々は,自由形式の言語記述によって規定される様々な操作タスクに対して,Mokaの性能を評価し,分析する。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• OpenFMNav: Towards Open-Set Zero-Shot Object Navigation via Vision-Language Foundation Models [16.50443396055173]
  ゼロショットオブジェクトナビゲーションのためのオープンセットファウンデーションモデルベースのフレームワークであるOpenFMNavを提案する。 まず,大規模言語モデルの推論能力を解き明かし,提案するオブジェクトを自然言語命令から抽出する。 次に、大規模視覚言語モデルの一般化可能性を活用して、シーンから候補対象を積極的に発見し、検出する。
  論文  参考訳（メタデータ） (2024-02-16T13:21:33Z)
• Grounded Question-Answering in Long Egocentric Videos [39.281013854331285]
  長い、エゴセントリックなビデオで、個人やロボットが自分の過去の視覚的体験について尋ねることができる。 このタスクは、広範囲なビデオコンテンツ内での時間的グラウンドクエリの複雑さを含む、ユニークな課題を提示する。 提案手法は,クエリグラウンディングと応答を統一モデルに統合することにより,誤りの伝播を低減することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-12-11T16:31:55Z)
• Learning active tactile perception through belief-space control [21.708391958446274]
  本稿では,創造的世界モデルを開発することにより,触覚探索政策を自律的に学習する手法を提案する。 本手法は,目的が所望のオブジェクト特性を推定することである3つのシミュレーションタスクに対して評価する。 提案手法は, 所望のプロパティに関する情報を直感的に収集するポリシーを発見できることがわかった。
  論文  参考訳（メタデータ） (2023-11-30T21:54:42Z)
• ACQUIRED: A Dataset for Answering Counterfactual Questions In Real-Life Videos [53.92440577914417]
  ACQUIREDは3.9Kの注釈付きビデオで構成され、幅広いイベントタイプを包含し、ファーストパーソンとサードパーソンの両方の視点を取り入れている。 各ビデオは、物理的、社会的、時間的な3つの異なる推論の次元にまたがる質問で注釈付けされている。 我々は,現在最先端の言語のみおよびマルチモーダルモデルに対して,我々のデータセットをベンチマークし,実験結果から大きな性能差が示された。
  論文  参考訳（メタデータ） (2023-11-02T22:17:03Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• Navigating to Objects in the Real World [76.1517654037993]
  本稿では,古典的,モジュール的,エンド・ツー・エンドの学習手法と比較した,意味的視覚ナビゲーション手法に関する大規模な実証的研究について述べる。 モジュラー学習は実世界ではうまく機能し、90%の成功率に達しています。 対照的に、エンド・ツー・エンドの学習は、シミュレーションと現実の間の画像領域の差が大きいため、77%のシミュレーションから23%の実際の成功率へと低下する。
  論文  参考訳（メタデータ） (2022-12-02T01:10:47Z)
• BEHAVIOR: Benchmark for Everyday Household Activities in Virtual, Interactive, and Ecological Environments [70.18430114842094]
  本稿では,シミュレーションにおける100のアクティビティを持つAIのベンチマークであるBEHAVIORを紹介する。 これらの活動は現実的で多様性があり、複雑であるように設計されています。 われわれは、バーチャルリアリティー(VR)における500件の人間デモを含む。
  論文  参考訳（メタデータ） (2021-08-06T23:36:23Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。