論文の概要: Neural Volumetric Memory for Visual Locomotion Control

• arxiv url: http://arxiv.org/abs/2304.01201v1
• Date: Mon, 3 Apr 2023 17:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 14:08:23.363154
• Title: Neural Volumetric Memory for Visual Locomotion Control
• Title（参考訳）: 視覚ロコモーション制御のためのニューラルボリュームメモリ
• Authors: Ruihan Yang, Ge Yang, Xiaolong Wang
• Abstract要約: 本研究では、1台の前方深度カメラを用いて、挑戦的な地形を移動させることの難しさを考察する。 この問題を解決するため,映像の3次元幾何学を明示的にモデル化するコンピュータビジョンのパラダイムを踏襲する。 トレーニング中に幾何的先行を明示的に導入するアプローチは,よりナイーブな手法よりも優れた性能を提供することを示す。
• 参考スコア（独自算出の注目度）: 11.871849736648237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Legged robots have the potential to expand the reach of autonomy beyond paved roads. In this work, we consider the difficult problem of locomotion on challenging terrains using a single forward-facing depth camera. Due to the partial observability of the problem, the robot has to rely on past observations to infer the terrain currently beneath it. To solve this problem, we follow the paradigm in computer vision that explicitly models the 3D geometry of the scene and propose Neural Volumetric Memory (NVM), a geometric memory architecture that explicitly accounts for the SE(3) equivariance of the 3D world. NVM aggregates feature volumes from multiple camera views by first bringing them back to the ego-centric frame of the robot. We test the learned visual-locomotion policy on a physical robot and show that our approach, which explicitly introduces geometric priors during training, offers superior performance than more na\"ive methods. We also include ablation studies and show that the representations stored in the neural volumetric memory capture sufficient geometric information to reconstruct the scene. Our project page with videos is https://rchalyang.github.io/NVM .
• Abstract（参考訳）: 脚のあるロボットは、舗装道路を超えて自律性の範囲を広げる可能性がある。 本研究では,1つの前方深度カメラを用いて,挑戦的地形における移動の難しさについて考察する。 問題の部分的な観測性のため、ロボットは現在の地形を推定するために過去の観測に頼らなければならない。 この問題を解決するために,シーンの3次元形状を明示的にモデル化するコンピュータビジョンのパラダイムに従い,3次元世界のse(3)等分散を明示的に考慮した幾何学的メモリアーキテクチャであるneural volumetric memory (nvm)を提案する。 NVMは、複数のカメラビューの特徴量を、まずロボットのエゴ中心のフレームに戻すことで集約する。 我々は,物理ロボットで学習した視覚運動ポリシーをテストし,学習中に幾何学的事前化を明示的に導入する手法が,na\"ive法よりも優れた性能をもたらすことを示す。 また,神経容積記憶に記憶されている表現が,シーンを再構築するための十分な幾何学的情報を取得することを示した。 ビデオ付きプロジェクトページはhttps://rchalyang.github.io/NVM です。

関連論文リスト

• OpenOcc: Open Vocabulary 3D Scene Reconstruction via Occupancy Representation [30.76201018651464]
  従来の3Dシーン理解アプローチでは、高価なラベル付き3Dデータセットを使用して、単一のタスクに対してモデルのトレーニングと監視を行う。 我々は,3次元シーン再構成とオープン語彙理解をニューラルラディアンスフィールドで統合する新しいフレームワークOpenOccを提案する。 提案手法は3次元シーン理解タスクにおいて,特に小型・長距離オブジェクトにおいて,競争性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-18T13:53:48Z)
• SelfOcc: Self-Supervised Vision-Based 3D Occupancy Prediction [77.15924044466976]
  本稿では,ビデオシーケンスのみを用いて,自己指導型3D習熟学習手法を提案する。 まず、画像を3D空間(例えば鳥の目視)に変換し、シーンの3D表現を得る。 そして、前と将来のフレームの2D画像を自己超越信号として描画し、3D表現を学習する。
  論文  参考訳（メタデータ） (2023-11-21T17:59:14Z)
• BAA-NGP: Bundle-Adjusting Accelerated Neural Graphics Primitives [6.431806897364565]
  ロボットは2D画像から3D環境を理解することができる。 本稿では,バンドル調整型高速化ニューラルネットワークプリミティブ(BAA-NGP)というフレームワークを提案する。 その結果,他の束調整型ニューラルラジアンスフィールド法と比較して10～20倍の速度向上が得られた。
  論文  参考訳（メタデータ） (2023-06-07T05:36:45Z)
• Visibility Aware Human-Object Interaction Tracking from Single RGB Camera [40.817960406002506]
  本稿では,1台のRGBカメラからフレーム間の3次元人・物・接触・相対変換を追跡する新しい手法を提案する。 我々は、SMPLをビデオシーケンスに予め適合させて得られたフレームごとのSMPLモデル推定に基づいて、人間と物体の脳野再構成を行う。 可視フレームからの人間と物体の動きは、隠蔽された物体を推測するための貴重な情報を提供する。
  論文  参考訳（メタデータ） (2023-03-29T06:23:44Z)
• BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects [89.2314092102403]
  モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。 視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
  論文  参考訳（メタデータ） (2023-03-24T17:13:49Z)
• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
  本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。 搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。 ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-16T10:45:17Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。