論文の概要: Reasoning in visual navigation of end-to-end trained agents: a dynamical systems approach

• arxiv url: http://arxiv.org/abs/2503.08306v2
• Date: Wed, 12 Mar 2025 18:55:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 12:09:25.041214
• Title: Reasoning in visual navigation of end-to-end trained agents: a dynamical systems approach
• Title（参考訳）: エンドツーエンド訓練エージェントの視覚ナビゲーションにおける推論--動的システムアプローチ
• Authors: Steeven Janny, Hervé Poirier, Leonid Antsfeld, Guillaume Bono, Gianluca Monaci, Boris Chidlovskii, Francesco Giuliari, Alessio Del Bue, Christian Wolf,
• Abstract要約: 本研究では,物理ロボットを用いた実環境におけるヌンペプソデスのナビゲーションエピソードに関する大規模実験を行った。 エンドツーエンドのトレーニングから生じる推論のタイプを分析します。 本稿では,エージェントが学習した値関数が長期計画に関連があることをポストホック分析で示す。
• 参考スコア（独自算出の注目度）: 23.52028824411467
• License:
• Abstract: Progress in Embodied AI has made it possible for end-to-end-trained agents to navigate in photo-realistic environments with high-level reasoning and zero-shot or language-conditioned behavior, but benchmarks are still dominated by simulation. In this work, we focus on the fine-grained behavior of fast-moving real robots and present a large-scale experimental study involving \numepisodes{} navigation episodes in a real environment with a physical robot, where we analyze the type of reasoning emerging from end-to-end training. In particular, we study the presence of realistic dynamics which the agent learned for open-loop forecasting, and their interplay with sensing. We analyze the way the agent uses latent memory to hold elements of the scene structure and information gathered during exploration. We probe the planning capabilities of the agent, and find in its memory evidence for somewhat precise plans over a limited horizon. Furthermore, we show in a post-hoc analysis that the value function learned by the agent relates to long-term planning. Put together, our experiments paint a new picture on how using tools from computer vision and sequential decision making have led to new capabilities in robotics and control. An interactive tool is available at europe.naverlabs.com/research/publications/reasoning-in-visual-navigation-of-end-to-end-trained-agen ts.
• Abstract（参考訳）: Embodied AIの進歩により、エンドツーエンドのエージェントが高レベルな推論とゼロショットまたは言語条件の振る舞いを備えた写真リアリスティックな環境をナビゲートできるようになったが、ベンチマークは依然としてシミュレーションによって支配されている。 本研究では,高速移動型実ロボットのきめ細かな動作に着目し,実環境における<numepisodes{}ナビゲーションエピソードを含む大規模実験を行い,エンドツーエンドのトレーニングから生じる推論のタイプを分析した。 特に,オープンループ予測においてエージェントが学習したリアルなダイナミクスの存在と,センサとの相互作用について検討した。 我々は,エージェントが潜時記憶を用いてシーン構造と探索中に収集した情報を保持する方法を分析する。 我々はエージェントの計画能力を調査し、限られた地平線上でのある程度正確な計画の記憶証拠を見つける。 さらに, エージェントが学習した値関数が長期計画に関連があることを, ポストホック分析で示す。 私たちの実験は、コンピュータビジョンとシーケンシャルな意思決定のツールの使用が、ロボット工学と制御の新たな能力に繋がった、という新しい絵を描いています。 インタラクティブツールは Europe.naverlabs.com/research/publications/reasoning-in-visual-navigation-of-end-to-end-trained-agen ts で利用可能である。

関連論文リスト

• NavigateDiff: Visual Predictors are Zero-Shot Navigation Assistants [24.689242976554482]
  慣れ親しんだ環境をナビゲートすることは、家庭用ロボットにとって大きな課題となる。 既存の強化学習手法は、直接新しい環境に移行することはできない。 我々は、事前学習された基礎モデルの論理知識と一般化能力をゼロショットナビゲーションに転送しようと試みる。
  論文  参考訳（メタデータ） (2025-02-19T17:27:47Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• AI planning in the imagination: High-level planning on learned abstract search spaces [68.75684174531962]
  我々は,エージェントが訓練中に学習する抽象的な検索空間において,エージェントが計画することを可能にする,PiZeroと呼ばれる新しい手法を提案する。 本研究では,旅行セールスマン問題,ソコバン問題,2048年,施設立地問題,パックマン問題など,複数の分野で評価を行った。
  論文  参考訳（メタデータ） (2023-08-16T22:47:16Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• Embodied Agents for Efficient Exploration and Smart Scene Description [47.82947878753809]
  我々は、自律的なエージェントが見えない屋内環境を探索し、マッピングする必要がある視覚ナビゲーションの設定に取り組む。 本稿では,視覚ロボット探査と画像キャプションの最近の進歩を組み合わせたアプローチを提案し,評価する。 提案手法は,環境の意味的知識を最大化し,繰り返しを避けるスマートなシーン記述を生成する。
  論文  参考訳（メタデータ） (2023-01-17T19:28:01Z)
• Planning for Learning Object Properties [117.27898922118946]
  我々は、物体特性を象徴的な計画問題として認識するために、ニューラルネットワークを自動的に訓練する問題を定式化する。 トレーニングデータセット作成と学習プロセスを自動化するための戦略を作成するために,計画手法を使用します。 シミュレーションと実環境の両方で実験的な評価を行う。
  論文  参考訳（メタデータ） (2023-01-15T09:37:55Z)
• Towards self-attention based visual navigation in the real world [0.0]
  視覚誘導ナビゲーションでは、タスク指向の意思決定を知らせるために複雑な視覚情報を処理する必要がある。 シミュレーションで訓練された深層強化学習エージェントは、現実世界に配備された時に満足のいく結果を示すことが多い。 これは、4000以下のパラメータを使って3Dアクション空間をナビゲートする訓練に成功した、自己注意型エージェントの最初のデモンストレーションである。
  論文  参考訳（メタデータ） (2022-09-15T04:51:42Z)
• What do navigation agents learn about their environment? [39.74076893981299]
  本稿では、ポイントゴールナビゲーションエージェントとオブジェクトゴールナビゲーションエージェントのための、エンボディード・アグエント(iSEE)の解釈可能性システムについて紹介する。 これらのエージェントが生成する動的表現をiSEEを用いて探索し,エージェントや環境に関する情報を提示する。
  論文  参考訳（メタデータ） (2022-06-17T01:33:43Z)
• An in-depth experimental study of sensor usage and visual reasoning of robots navigating in real environments [20.105395754497202]
  実物的エージェントの性能と推論能力について検討し、シミュレーションで訓練し、2つの異なる物理的環境に展開する。 我々は,PointGoalタスクに対して,多種多様なタスクを事前訓練し,対象環境の模擬バージョンを微調整したエージェントが,sim2real転送をモデル化せずに競争性能に達することを示す。
  論文  参考訳（メタデータ） (2021-11-29T16:27:29Z)
• Diagnosing Vision-and-Language Navigation: What Really Matters [61.72935815656582]
  視覚言語ナビゲーション(VLN)は、エージェントが自然言語の指示に従って視覚環境をナビゲートするマルチモーダルタスクである。 近年の研究では、室内および屋外のVLNタスクのパフォーマンス改善が鈍化している。 本研究では,ナビゲーション中のエージェントの焦点を明らかにするための一連の診断実験を行う。
  論文  参考訳（メタデータ） (2021-03-30T17:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。