論文の概要: NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2210.04932v1
• Date: Mon, 10 Oct 2022 18:06:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 13:45:19.940181
• Title: NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields
• Title（参考訳）: ニューラルラジアンス場を用いた視覚誘導二足歩行スキルのシム2リアルトランスファー
• Authors: Arunkumar Byravan, Jan Humplik, Leonard Hasenclever, Arthur Brussee, Francesco Nori, Tuomas Haarnoja, Ben Moran, Steven Bohez, Fereshteh Sadeghi, Bojan Vujatovic, and Nicolas Heess
• Abstract要約: 本研究では,現実的な視覚を持つ「野生」シーンにsim2realアプローチを適用するシステムを提案する。 ニューラル・ラジアンス・フィールド(NeRF)を用いたシーンの接触形状と新しいビュー合成機能について学ぶ。 その後、物理シミュレータのレンダリングエンジンを用いてシミュレーションが作成され、接触ダイナミクスが計算される。 我々はこのシミュレーションを用いて、頭部搭載型RGBカメラを搭載した20自由度ヒューマノイドロボットの視覚に基づく全身ナビゲーションとボールプッシュポリシーを学習できることを実証した。
• 参考スコア（独自算出の注目度）: 16.21877702925027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a system for applying sim2real approaches to "in the wild" scenes with realistic visuals, and to policies which rely on active perception using RGB cameras. Given a short video of a static scene collected using a generic phone, we learn the scene's contact geometry and a function for novel view synthesis using a Neural Radiance Field (NeRF). We augment the NeRF rendering of the static scene by overlaying the rendering of other dynamic objects (e.g. the robot's own body, a ball). A simulation is then created using the rendering engine in a physics simulator which computes contact dynamics from the static scene geometry (estimated from the NeRF volume density) and the dynamic objects' geometry and physical properties (assumed known). We demonstrate that we can use this simulation to learn vision-based whole body navigation and ball pushing policies for a 20 degrees of freedom humanoid robot with an actuated head-mounted RGB camera, and we successfully transfer these policies to a real robot. Project video is available at https://sites.google.com/view/nerf2real/home
• Abstract（参考訳）: 本稿では,リアルな視覚を持つ「野生」シーンと,rgbカメラを用いたアクティブな知覚に依存するポリシーにsim2realアプローチを適用するシステムを提案する。 汎用電話機を用いて収集された静的シーンの短いビデオが与えられたとき、シーンの接触形状とニューラル・ラジアンス・フィールド(nerf)を用いた新しいビュー合成の関数を学習する。 他の動的オブジェクト(例えば、ロボット自身の体、ボール)のレンダリングをオーバーレイすることで、静的シーンのnerfレンダリングを強化します。 その後、物理シミュレータのレンダリングエンジンを用いてシミュレーションが作成され、静的シーン幾何学(NeRF体積密度から推定される)と動的オブジェクトの幾何学と物理特性(既知のもの)から接触ダイナミクスを計算する。 このシミュレーションにより,頭部搭載型rgbカメラを用いた20自由度ヒューマノイドロボットの視覚ベースの全身ナビゲーションとボールプッシュポリシーを学習できることを実証し,これらのポリシーを実ロボットに転送することに成功した。 プロジェクトビデオはhttps://sites.google.com/view/nerf2real/homeで利用可能

関連論文リスト

• RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator [27.04267700576422]
  RoboGSimは本物の2sim2realのロボットシミュレータで、3Dガウシアン・スプレイティングと物理エンジンで動く。 シミュレーションされたデータを、新しいビュー、オブジェクト、軌跡、シーンで合成することができる。 実数2simとsim2realの転写実験は、テクスチャと物理において高い一貫性を示す。
  論文  参考訳（メタデータ） (2024-11-18T18:58:03Z)
• Learning autonomous driving from aerial imagery [67.06858775696453]
  フォトグラムシミュレーターは、生成済みの資産を新しいビューに変換することによって、新しいビューを合成することができる。 我々は、ニューラルネットワーク場(NeRF)を中間表現として使用し、地上車両の視点から新しいビューを合成する。
  論文  参考訳（メタデータ） (2024-10-18T05:09:07Z)
• Learning Robot Soccer from Egocentric Vision with Deep Reinforcement Learning [17.906144781244336]
  我々は,自己中心型RGBビジョンによる完全オンボード計算とセンシングにより,エンドツーエンドのロボットサッカーポリシーを訓練する。 本稿では,マルチエージェントロボットサッカーにおけるエンドツーエンドトレーニングの最初の実演を行う。
  論文  参考訳（メタデータ） (2024-05-03T18:41:13Z)
• PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations [62.14943588289551]
  逆レンダリングと逆物理を組み合わせた新しいフレームワークであるPhysAvatarを導入し、人間の形や外観を自動的に推定する。 PhysAvatarは、トレーニングデータに見られない動きや照明条件の下で、ゆったりした服を着たアバターを再構築する。
  論文  参考訳（メタデータ） (2024-04-05T21:44:57Z)
• Learning 3D Particle-based Simulators from RGB-D Videos [15.683877597215494]
  本研究では,シミュレータを直接観測から学習する手法を提案する。 視覚粒子ダイナミクス(VPD)は、3Dシーンの潜在粒子ベースの表現を共同で学習する。 既存の2Dビデオ予測モデルとは異なり、VPDの3D構造はシーン編集と長期予測を可能にする。
  論文  参考訳（メタデータ） (2023-12-08T20:45:34Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)
• Differentiable Physics Simulation of Dynamics-Augmented Neural Objects [40.587385809005355]
  深層ネットワークとしてパラメータ化された連続密度場としてそれらの幾何学を表現する物体の運動をシミュレートするための微分可能なパイプラインを提案する。 我々は、物体の運動特性、質量、質量の中心、慣性行列を推定する。 これによりロボットは、動いている物体の静止画像やビデオから視覚的かつ動的に正確な物体モデルを自律的に構築することができる。
  論文  参考訳（メタデータ） (2022-10-17T20:37:46Z)
• GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
  GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。 まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。 得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
  論文  参考訳（メタデータ） (2021-01-16T23:00:33Z)
• LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
  物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。 まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。 本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
  論文  参考訳（メタデータ） (2020-06-16T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。