論文の概要: NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills
using Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2210.04932v1
- Date: Mon, 10 Oct 2022 18:06:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 13:45:19.940181
- Title: NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills
using Neural Radiance Fields
- Title(参考訳): ニューラルラジアンス場を用いた視覚誘導二足歩行スキルのシム2リアルトランスファー
- Authors: Arunkumar Byravan, Jan Humplik, Leonard Hasenclever, Arthur Brussee,
Francesco Nori, Tuomas Haarnoja, Ben Moran, Steven Bohez, Fereshteh Sadeghi,
Bojan Vujatovic, and Nicolas Heess
- Abstract要約: 本研究では,現実的な視覚を持つ「野生」シーンにsim2realアプローチを適用するシステムを提案する。
ニューラル・ラジアンス・フィールド(NeRF)を用いたシーンの接触形状と新しいビュー合成機能について学ぶ。
その後、物理シミュレータのレンダリングエンジンを用いてシミュレーションが作成され、接触ダイナミクスが計算される。
我々はこのシミュレーションを用いて、頭部搭載型RGBカメラを搭載した20自由度ヒューマノイドロボットの視覚に基づく全身ナビゲーションとボールプッシュポリシーを学習できることを実証した。
- 参考スコア(独自算出の注目度): 16.21877702925027
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a system for applying sim2real approaches to "in the wild" scenes
with realistic visuals, and to policies which rely on active perception using
RGB cameras. Given a short video of a static scene collected using a generic
phone, we learn the scene's contact geometry and a function for novel view
synthesis using a Neural Radiance Field (NeRF). We augment the NeRF rendering
of the static scene by overlaying the rendering of other dynamic objects (e.g.
the robot's own body, a ball). A simulation is then created using the rendering
engine in a physics simulator which computes contact dynamics from the static
scene geometry (estimated from the NeRF volume density) and the dynamic
objects' geometry and physical properties (assumed known). We demonstrate that
we can use this simulation to learn vision-based whole body navigation and ball
pushing policies for a 20 degrees of freedom humanoid robot with an actuated
head-mounted RGB camera, and we successfully transfer these policies to a real
robot. Project video is available at
https://sites.google.com/view/nerf2real/home
- Abstract(参考訳): 本稿では,リアルな視覚を持つ「野生」シーンと,rgbカメラを用いたアクティブな知覚に依存するポリシーにsim2realアプローチを適用するシステムを提案する。
汎用電話機を用いて収集された静的シーンの短いビデオが与えられたとき、シーンの接触形状とニューラル・ラジアンス・フィールド(nerf)を用いた新しいビュー合成の関数を学習する。
他の動的オブジェクト(例えば、ロボット自身の体、ボール)のレンダリングをオーバーレイすることで、静的シーンのnerfレンダリングを強化します。
その後、物理シミュレータのレンダリングエンジンを用いてシミュレーションが作成され、静的シーン幾何学(NeRF体積密度から推定される)と動的オブジェクトの幾何学と物理特性(既知のもの)から接触ダイナミクスを計算する。
このシミュレーションにより,頭部搭載型rgbカメラを用いた20自由度ヒューマノイドロボットの視覚ベースの全身ナビゲーションとボールプッシュポリシーを学習できることを実証し,これらのポリシーを実ロボットに転送することに成功した。
プロジェクトビデオはhttps://sites.google.com/view/nerf2real/homeで利用可能
関連論文リスト
- Learning 3D Particle-based Simulators from RGB-D Videos [15.683877597215494]
本研究では,シミュレータを直接観測から学習する手法を提案する。
視覚粒子ダイナミクス(VPD)は、3Dシーンの潜在粒子ベースの表現を共同で学習する。
既存の2Dビデオ予測モデルとは異なり、VPDの3D構造はシーン編集と長期予測を可能にする。
論文 参考訳(メタデータ) (2023-12-08T20:45:34Z) - Learning Interactive Real-World Simulators [107.12907352474005]
生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。
シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。
ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
論文 参考訳(メタデータ) (2023-10-09T19:42:22Z) - QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse
Sensors [69.75711933065378]
ヘッドセットとコントローラーのポーズは,高度に制約された環境においても,現実的なフルボディのポーズを生成可能であることを示す。
本稿では,環境表現,接触報酬,シーンランダム化の3つの特徴について論じる。
論文 参考訳(メタデータ) (2023-06-09T04:40:38Z) - CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。
9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。
このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
論文 参考訳(メタデータ) (2023-03-31T09:18:12Z) - Differentiable Physics Simulation of Dynamics-Augmented Neural Objects [40.587385809005355]
深層ネットワークとしてパラメータ化された連続密度場としてそれらの幾何学を表現する物体の運動をシミュレートするための微分可能なパイプラインを提案する。
我々は、物体の運動特性、質量、質量の中心、慣性行列を推定する。
これによりロボットは、動いている物体の静止画像やビデオから視覚的かつ動的に正確な物体モデルを自律的に構築することができる。
論文 参考訳(メタデータ) (2022-10-17T20:37:46Z) - GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
論文 参考訳(メタデータ) (2021-01-16T23:00:33Z) - STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in
Motion with Neural Rendering [9.600908665766465]
本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。
本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
論文 参考訳(メタデータ) (2020-12-22T23:45:28Z) - D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
論文 参考訳(メタデータ) (2020-11-27T19:06:50Z) - Photorealism in Driving Simulations: Blending Generative Adversarial
Image Synthesis with Rendering [0.0]
我々は、運転シミュレーションの視覚的忠実度を改善するために、ハイブリッドな生成型ニューラルネットワークパイプラインを導入する。
テクスチャのない単純なオブジェクトモデルからなる3次元シーンから2次元のセマンティック画像を生成する。
これらのセマンティックイメージは、現実の運転シーンで訓練された最先端のジェネレーティブ・アドリア・ネットワーク(GAN)を用いて、フォトリアリスティックなRGBイメージに変換される。
論文 参考訳(メタデータ) (2020-07-31T03:25:17Z) - LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。
まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。
本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
論文 参考訳(メタデータ) (2020-06-16T17:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。