論文の概要: Transformers for Image-Goal Navigation

• arxiv url: http://arxiv.org/abs/2405.14128v1
• Date: Thu, 23 May 2024 03:01:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:15:00.609925
• Title: Transformers for Image-Goal Navigation
• Title（参考訳）: 画像方向ナビゲーション用変圧器
• Authors: Nikhilanj Pelluri,
• Abstract要約: 本稿では,画像目標,カメラ観測,ロボットの過去の動作を共同でモデル化し,将来の行動を予測するための生成トランスフォーマーモデルを提案する。 本モデルでは,長期間の地平線上での視覚情報の収集と関連性を実証し,ナビゲーションの効率化に寄与する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual perception and navigation have emerged as major focus areas in the field of embodied artificial intelligence. We consider the task of image-goal navigation, where an agent is tasked to navigate to a goal specified by an image, relying only on images from an onboard camera. This task is particularly challenging since it demands robust scene understanding, goal-oriented planning and long-horizon navigation. Most existing approaches typically learn navigation policies reliant on recurrent neural networks trained via online reinforcement learning. However, training such policies requires substantial computational resources and time, and performance of these models is not reliable on long-horizon navigation. In this work, we present a generative Transformer based model that jointly models image goals, camera observations and the robot's past actions to predict future actions. We use state-of-the-art perception models and navigation policies to learn robust goal conditioned policies without the need for real-time interaction with the environment. Our model demonstrates capability in capturing and associating visual information across long time horizons, helping in effective navigation.
• Abstract（参考訳）: 視覚知覚とナビゲーションは、具体的人工知能の分野における主要な焦点領域として現れてきた。 本稿では,カメラ上の画像のみに頼って,エージェントが画像によって特定された目標にナビゲートする作業である画像ゴールナビゲーションの課題について考察する。 このタスクは、堅牢なシーン理解、目標指向の計画、長距離ナビゲーションを必要とするため、特に難しい。 既存のほとんどのアプローチは、オンライン強化学習を通じてトレーニングされたリカレントニューラルネットワークに依存するナビゲーションポリシーを学習する。 しかし、そのような政策の訓練にはかなりの計算資源と時間が必要であり、これらのモデルの性能は長距離航法では信頼できない。 本研究では,画像目標,カメラ観測,ロボットの過去の動作を共同でモデル化し,将来的な行動を予測できる生成トランスフォーマーモデルを提案する。 我々は、現状の認識モデルとナビゲーションポリシーを使用して、環境とのリアルタイムインタラクションを必要とせずに、堅牢な目標条件付きポリシーを学習する。 本モデルでは,長期間の地平線上での視覚情報の収集と関連性を実証し,ナビゲーションの効率化に寄与する。

関連論文リスト

• GOAT-Bench: A Benchmark for Multi-Modal Lifelong Navigation [65.71524410114797]
  GOAT-BenchはユニバーサルナビゲーションタスクGO to AnyThing(GOAT)のベンチマークである。 GOATでは、エージェントはカテゴリ名、言語記述、イメージによって指定されたターゲットのシーケンスにナビゲートするように指示される。 我々はGOATタスク上でモノリシックなRLおよびモジュラーメソッドをベンチマークし、その性能をモダリティにわたって分析する。
  論文  参考訳（メタデータ） (2024-04-09T20:40:00Z)
• Interactive Semantic Map Representation for Skill-based Visual Object Navigation [43.71312386938849]
  本稿では,室内環境との相互作用にともなうシーンセマンティックマップの表現について紹介する。 我々はこの表現をSkillTronと呼ばれる本格的なナビゲーション手法に実装した。 提案手法により,ロボット探索の中間目標とオブジェクトナビゲーションの最終目標の両方を形成できる。
  論文  参考訳（メタデータ） (2023-11-07T16:30:12Z)
• NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration [57.15811390835294]
  本稿では,目標指向ナビゲーションと目標非依存探索の両方を扱うために,単一の統合拡散政策をトレーニングする方法について述べる。 この統一された政策は、新しい環境における目標を視覚的に示す際に、全体的な性能が向上することを示す。 実世界の移動ロボットプラットフォーム上で実施した実験は,5つの代替手法と比較して,見えない環境における効果的なナビゲーションを示す。
  論文  参考訳（メタデータ） (2023-10-11T21:07:14Z)
• How To Not Train Your Dragon: Training-free Embodied Object Goal Navigation with Semantic Frontiers [94.46825166907831]
  Embodied AIにおけるオブジェクトゴールナビゲーション問題に対処するためのトレーニング不要のソリューションを提案する。 本手法は,古典的な視覚的同時ローカライゼーションとマッピング(V-SLAM)フレームワークに基づく,構造化されたシーン表現を構築する。 本手法は,言語先行情報とシーン統計に基づいてシーングラフのセマンティクスを伝搬し,幾何学的フロンティアに意味知識を導入する。
  論文  参考訳（メタデータ） (2023-05-26T13:38:33Z)
• Last-Mile Embodied Visual Navigation [31.622495628224403]
  本稿では,画像ゴールナビゲーションシステムの性能向上を目的としたSlingを提案する。 我々は、ラストマイルナビゲーションに焦点をあて、ニューラルディスクリプタ問題の基礎となる幾何学的構造を活用する。 標準化された画像ゴールナビゲーションベンチマークでは、ポリシー、シーン、エピソードの複雑さにまたがるパフォーマンスを改善し、最先端の45%から55%の成功率に引き上げる。
  論文  参考訳（メタデータ） (2022-11-21T18:59:58Z)
• Towards self-attention based visual navigation in the real world [0.0]
  視覚誘導ナビゲーションでは、タスク指向の意思決定を知らせるために複雑な視覚情報を処理する必要がある。 シミュレーションで訓練された深層強化学習エージェントは、現実世界に配備された時に満足のいく結果を示すことが多い。 これは、4000以下のパラメータを使って3Dアクション空間をナビゲートする訓練に成功した、自己注意型エージェントの最初のデモンストレーションである。
  論文  参考訳（メタデータ） (2022-09-15T04:51:42Z)
• NavDreams: Towards Camera-Only RL Navigation Among Humans [35.57943738219839]
  我々は,アタリゲームにおけるモデリングと学習の方針を示す世界モデルの概念が,カメラによるナビゲーション問題にも適用できるかどうかを考察する。 我々は、ロボットが目標を達成するために衝突することなく、静的で動く人間を通り過ぎなければならないシミュレーション環境を作成する。 現状の手法はナビゲーション問題の解決に成功でき、将来の画像系列の夢のような予測を生成することができる。
  論文  参考訳（メタデータ） (2022-03-23T09:46:44Z)
• Deep Learning for Embodied Vision Navigation: A Survey [108.13766213265069]
  身体的視覚ナビゲーション」問題では、エージェントが3D環境をナビゲートする必要がある。 本稿では、総合的な文献調査を提供することで、視覚ナビゲーションの具体的分野における現在の研究の概要を確立することを試みる。
  論文  参考訳（メタデータ） (2021-07-07T12:09:04Z)
• Rapid Exploration for Open-World Navigation with Latent Goal Models [78.45339342966196]
  多様なオープンワールド環境における自律的な探索とナビゲーションのためのロボット学習システムについて述べる。 本手法のコアとなるのは、画像の非パラメトリックトポロジカルメモリとともに、距離と行動の学習された潜在変数モデルである。 学習方針を規則化するために情報ボトルネックを使用し、(i)目標のコンパクトな視覚的表現、(ii)一般化能力の向上、(iii)探索のための実行可能な目標をサンプリングするためのメカニズムを提供する。
  論文  参考訳（メタデータ） (2021-04-12T23:14:41Z)
• Improving Target-driven Visual Navigation with Attention on 3D Spatial Relationships [52.72020203771489]
  3次元屋内シーンにおける深部強化学習(DRL)を用いた目標駆動型視覚ナビゲーションについて検討した。 提案手法は視覚特徴と3次元空間表現を組み合わせてナビゲーションポリシーを学習する。 AI2-THORで実施した我々の実験は、SRとSPLの指標において、モデルがベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2020-04-29T08:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。