論文の概要: CogNav: Cognitive Process Modeling for Object Goal Navigation with LLMs

• arxiv url: http://arxiv.org/abs/2412.10439v1
• Date: Wed, 11 Dec 2024 09:50:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:55:31.390510
• Title: CogNav: Cognitive Process Modeling for Object Goal Navigation with LLMs
• Title（参考訳）: CogNav: LLMを用いたオブジェクトゴールナビゲーションのための認知プロセスモデリング
• Authors: Yihan Cao, Jiazhao Zhang, Zhinan Yu, Shuzhen Liu, Zheng Qin, Qin Zou, Bo Du, Kai Xu,
• Abstract要約: オブジェクトゴールナビゲーション(Object goal navigation、ObjectNav)は、エージェントが見えない環境でターゲットオブジェクトを見つける必要があるAIの基本的なタスクである。 我々は,この認知過程を大規模言語モデルの助けを借りてモデル化しようとするCagNavを紹介する。 オープンボキャブラリとゼロショット設定では、HM3DベンチマークのSOTAを69.3%から87.2%に向上させる。
• 参考スコア（独自算出の注目度）: 33.123447047397484
• License:
• Abstract: Object goal navigation (ObjectNav) is a fundamental task of embodied AI that requires the agent to find a target object in unseen environments. This task is particularly challenging as it demands both perceptual and cognitive processes for effective perception and decision-making. While perception has gained significant progress powered by the rapidly developed visual foundation models, the progress on the cognitive side remains limited to either implicitly learning from massive navigation demonstrations or explicitly leveraging pre-defined heuristic rules. Inspired by neuroscientific evidence that humans consistently update their cognitive states while searching for objects in unseen environments, we present CogNav, which attempts to model this cognitive process with the help of large language models. Specifically, we model the cognitive process with a finite state machine composed of cognitive states ranging from exploration to identification. The transitions between the states are determined by a large language model based on an online built heterogeneous cognitive map containing spatial and semantic information of the scene being explored. Extensive experiments on both synthetic and real-world environments demonstrate that our cognitive modeling significantly improves ObjectNav efficiency, with human-like navigation behaviors. In an open-vocabulary and zero-shot setting, our method advances the SOTA of the HM3D benchmark from 69.3% to 87.2%. The code and data will be released.
• Abstract（参考訳）: オブジェクトゴールナビゲーション(Object goal navigation、ObjectNav)は、エージェントが見えない環境でターゲットオブジェクトを見つける必要があるAIの基本的なタスクである。 この課題は、効果的な知覚と意思決定のために知覚と認知の両方のプロセスを要求するため、特に困難である。 認識は、急速に発達した視覚基盤モデルによって大きく進歩してきたが、認知面の進歩は、巨大なナビゲーションデモから暗黙的に学習するか、事前に定義されたヒューリスティックなルールを明示的に活用することに限定されている。 人間の認知状態を常に更新する神経科学的な証拠に触発されて、我々は大きな言語モデルを用いて認知プロセスをモデル化しようとするCagNavを紹介した。 具体的には、探索から識別に至るまでの認知状態からなる有限状態機械を用いて認知過程をモデル化する。 状態間の遷移は、探索中のシーンの空間的および意味的な情報を含むオンライン構築された異種認知マップに基づいて、大きな言語モデルによって決定される。 人工環境と実環境の両方における大規模な実験により、認知モデルにより、人間のようなナビゲーション行動によってObjectNavの効率が大幅に向上することが示された。 オープンボキャブラリとゼロショット設定では、HM3DベンチマークのSOTAを69.3%から87.2%に向上させる。 コードとデータはリリースされます。

関連論文リスト

• Mem2Ego: Empowering Vision-Language Models with Global-to-Ego Memory for Long-Horizon Embodied Navigation [35.71602601385161]
  本稿では,視覚言語モデル(VLM)に基づくナビゲーションフレームワークを提案する。 提案手法は,長期タスクにおける空間的推論と意思決定を促進する。 実験の結果,提案手法は従来のオブジェクトナビゲーションタスクの手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T04:41:40Z)
• Cog-GA: A Large Language Models-based Generative Agent for Vision-Language Navigation in Continuous Environments [19.818370526976974]
  VLN-CE(Vision Language Navigation in Continuous Environments)は、AIのフロンティアである。 本稿では,VLN-CEタスクに適した大規模言語モデル(LLM)に基づく生成エージェントであるCog-GAを紹介する。 Cog-GAは、人間のような認知過程をエミュレートするための二重戦略を採用している。
  論文  参考訳（メタデータ） (2024-09-04T08:30:03Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• How To Not Train Your Dragon: Training-free Embodied Object Goal Navigation with Semantic Frontiers [94.46825166907831]
  Embodied AIにおけるオブジェクトゴールナビゲーション問題に対処するためのトレーニング不要のソリューションを提案する。 本手法は,古典的な視覚的同時ローカライゼーションとマッピング(V-SLAM)フレームワークに基づく,構造化されたシーン表現を構築する。 本手法は,言語先行情報とシーン統計に基づいてシーングラフのセマンティクスを伝搬し,幾何学的フロンティアに意味知識を導入する。
  論文  参考訳（メタデータ） (2023-05-26T13:38:33Z)
• ESC: Exploration with Soft Commonsense Constraints for Zero-shot Object Navigation [75.13546386761153]
  我々は,新しいゼロショットオブジェクトナビゲーション手法であるExploration with Soft Commonsense constraints (ESC)を提案する。 ESCは、事前訓練されたモデルのコモンセンス知識を、ナビゲーション経験のないオープンワールドオブジェクトナビゲーションに転送する。 MP3D, HM3D, RoboTHORのベンチマーク実験により, ESC法はベースラインよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-01-30T18:37:32Z)
• Navigating to Objects in the Real World [76.1517654037993]
  本稿では,古典的,モジュール的,エンド・ツー・エンドの学習手法と比較した,意味的視覚ナビゲーション手法に関する大規模な実証的研究について述べる。 モジュラー学習は実世界ではうまく機能し、90%の成功率に達しています。 対照的に、エンド・ツー・エンドの学習は、シミュレーションと現実の間の画像領域の差が大きいため、77%のシミュレーションから23%の実際の成功率へと低下する。
  論文  参考訳（メタデータ） (2022-12-02T01:10:47Z)
• Towards self-attention based visual navigation in the real world [0.0]
  視覚誘導ナビゲーションでは、タスク指向の意思決定を知らせるために複雑な視覚情報を処理する必要がある。 シミュレーションで訓練された深層強化学習エージェントは、現実世界に配備された時に満足のいく結果を示すことが多い。 これは、4000以下のパラメータを使って3Dアクション空間をナビゲートする訓練に成功した、自己注意型エージェントの最初のデモンストレーションである。
  論文  参考訳（メタデータ） (2022-09-15T04:51:42Z)
• PONI: Potential Functions for ObjectGoal Navigation with Interaction-free Learning [125.22462763376993]
  対話自由学習(PONI)を用いたオブジェクト指向ナビゲーションの可能性について提案する。 PONIは、物がどこに見えるかというスキルと、どのように(x, y)にナビゲートするかを歪めます。」
  論文  参考訳（メタデータ） (2022-01-25T01:07:32Z)
• Occupancy Anticipation for Efficient Exploration and Navigation [97.17517060585875]
  そこで我々は,エージェントが自我中心のRGB-D観測を用いて,その占有状態を可視領域を超えて推定する,占有予測を提案する。 エゴセントリックなビューとトップダウンマップの両方でコンテキストを活用することで、私たちのモデルは環境のより広いマップを予測できます。 われわれのアプローチは、2020 Habitat PointNav Challengeの優勝だ。
  論文  参考訳（メタデータ） (2020-08-21T03:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。