論文の概要: CogNav: Cognitive Process Modeling for Object Goal Navigation with LLMs

• arxiv url: http://arxiv.org/abs/2412.10439v2
• Date: Tue, 11 Mar 2025 12:19:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 19:16:16.856612
• Title: CogNav: Cognitive Process Modeling for Object Goal Navigation with LLMs
• Title（参考訳）: CogNav: LLMを用いたオブジェクトゴールナビゲーションのための認知プロセスモデリング
• Authors: Yihan Cao, Jiazhao Zhang, Zhinan Yu, Shuzhen Liu, Zheng Qin, Qin Zou, Bo Du, Kai Xu,
• Abstract要約: オブジェクトゴールナビゲーション(Object goal navigation、ObjectNav)は、AIの具体化における基本的なタスクであり、エージェントが以前目に見えない環境でターゲットオブジェクトを見つける必要がある。 大規模言語モデルを用いた認知過程の模倣を目的としたフレームワークであるCogNavを提案する。 CogNavは、少なくとも最先端技術に比べて、ObjectNavの成功率を14%向上させる。
• 参考スコア（独自算出の注目度）: 33.123447047397484
• License:
• Abstract: Object goal navigation (ObjectNav) is a fundamental task in embodied AI, requiring an agent to locate a target object in previously unseen environments. This task is particularly challenging because it requires both perceptual and cognitive processes, including object recognition and decision-making. While substantial advancements in perception have been driven by the rapid development of visual foundation models, progress on the cognitive aspect remains constrained, primarily limited to either implicit learning through simulator rollouts or explicit reliance on predefined heuristic rules. Inspired by neuroscientific findings demonstrating that humans maintain and dynamically update fine-grained cognitive states during object search tasks in novel environments, we propose CogNav, a framework designed to mimic this cognitive process using large language models. Specifically, we model the cognitive process using a finite state machine comprising fine-grained cognitive states, ranging from exploration to identification. Transitions between states are determined by a large language model based on a dynamically constructed heterogeneous cognitive map, which contains spatial and semantic information about the scene being explored. Extensive evaluations on the HM3D, MP3D, and RoboTHOR benchmarks demonstrate that our cognitive process modeling significantly improves the success rate of ObjectNav at least by relative 14% over the state-of-the-arts.
• Abstract（参考訳）: オブジェクトゴールナビゲーション(Object goal navigation、ObjectNav)は、AIの具体化における基本的なタスクであり、エージェントが以前目に見えない環境でターゲットオブジェクトを見つける必要がある。 このタスクは、オブジェクト認識や意思決定を含む知覚的プロセスと認知的プロセスの両方を必要とするため、特に難しい。 視覚基盤モデルの急速な発展によって認識のかなりの進歩が導かれてきたが、認知的側面の進歩は、主にシミュレータのロールアウトによる暗黙的な学習や、事前に定義されたヒューリスティックなルールへの明示的な依存に制限されている。 ニューラル・サイエンティフィックな研究結果から,新しい環境下での物体探索作業において,人間が微粒な認知状態を維持・動的に更新することを示す上で,この認知プロセスを大規模言語モデルを用いて模倣するフレームワークであるCogNavを提案する。 具体的には、探索から識別まで、きめ細かい認知状態を含む有限状態マシンを用いて認知過程をモデル化する。 状態間の遷移は、探索中のシーンに関する空間的および意味的な情報を含む動的に構築された異種認知マップに基づいて、大きな言語モデルによって決定される。 HM3D,MP3D,Robothorのベンチマークによる大規模な評価は,認知プロセスのモデリングがObjectNavの成功率を少なくとも14%向上させることを示した。

関連論文リスト

• Mem2Ego: Empowering Vision-Language Models with Global-to-Ego Memory for Long-Horizon Embodied Navigation [35.71602601385161]
  本稿では,視覚言語モデル(VLM)に基づくナビゲーションフレームワークを提案する。 提案手法は,長期タスクにおける空間的推論と意思決定を促進する。 実験の結果,提案手法は従来のオブジェクトナビゲーションタスクの手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T04:41:40Z)
• Cog-GA: A Large Language Models-based Generative Agent for Vision-Language Navigation in Continuous Environments [19.818370526976974]
  VLN-CE(Vision Language Navigation in Continuous Environments)は、AIのフロンティアである。 本稿では,VLN-CEタスクに適した大規模言語モデル(LLM)に基づく生成エージェントであるCog-GAを紹介する。 Cog-GAは、人間のような認知過程をエミュレートするための二重戦略を採用している。
  論文  参考訳（メタデータ） (2024-09-04T08:30:03Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• How To Not Train Your Dragon: Training-free Embodied Object Goal Navigation with Semantic Frontiers [94.46825166907831]
  Embodied AIにおけるオブジェクトゴールナビゲーション問題に対処するためのトレーニング不要のソリューションを提案する。 本手法は,古典的な視覚的同時ローカライゼーションとマッピング(V-SLAM)フレームワークに基づく,構造化されたシーン表現を構築する。 本手法は,言語先行情報とシーン統計に基づいてシーングラフのセマンティクスを伝搬し,幾何学的フロンティアに意味知識を導入する。
  論文  参考訳（メタデータ） (2023-05-26T13:38:33Z)
• ESC: Exploration with Soft Commonsense Constraints for Zero-shot Object Navigation [75.13546386761153]
  我々は,新しいゼロショットオブジェクトナビゲーション手法であるExploration with Soft Commonsense constraints (ESC)を提案する。 ESCは、事前訓練されたモデルのコモンセンス知識を、ナビゲーション経験のないオープンワールドオブジェクトナビゲーションに転送する。 MP3D, HM3D, RoboTHORのベンチマーク実験により, ESC法はベースラインよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-01-30T18:37:32Z)
• Navigating to Objects in the Real World [76.1517654037993]
  本稿では,古典的,モジュール的,エンド・ツー・エンドの学習手法と比較した,意味的視覚ナビゲーション手法に関する大規模な実証的研究について述べる。 モジュラー学習は実世界ではうまく機能し、90%の成功率に達しています。 対照的に、エンド・ツー・エンドの学習は、シミュレーションと現実の間の画像領域の差が大きいため、77%のシミュレーションから23%の実際の成功率へと低下する。
  論文  参考訳（メタデータ） (2022-12-02T01:10:47Z)
• Towards self-attention based visual navigation in the real world [0.0]
  視覚誘導ナビゲーションでは、タスク指向の意思決定を知らせるために複雑な視覚情報を処理する必要がある。 シミュレーションで訓練された深層強化学習エージェントは、現実世界に配備された時に満足のいく結果を示すことが多い。 これは、4000以下のパラメータを使って3Dアクション空間をナビゲートする訓練に成功した、自己注意型エージェントの最初のデモンストレーションである。
  論文  参考訳（メタデータ） (2022-09-15T04:51:42Z)
• PONI: Potential Functions for ObjectGoal Navigation with Interaction-free Learning [125.22462763376993]
  対話自由学習(PONI)を用いたオブジェクト指向ナビゲーションの可能性について提案する。 PONIは、物がどこに見えるかというスキルと、どのように(x, y)にナビゲートするかを歪めます。」
  論文  参考訳（メタデータ） (2022-01-25T01:07:32Z)
• Occupancy Anticipation for Efficient Exploration and Navigation [97.17517060585875]
  そこで我々は,エージェントが自我中心のRGB-D観測を用いて,その占有状態を可視領域を超えて推定する,占有予測を提案する。 エゴセントリックなビューとトップダウンマップの両方でコンテキストを活用することで、私たちのモデルは環境のより広いマップを予測できます。 われわれのアプローチは、2020 Habitat PointNav Challengeの優勝だ。
  論文  参考訳（メタデータ） (2020-08-21T03:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。