論文の概要: Learning rigid-body simulators over implicit shapes for large-scale scenes and vision
- arxiv url: http://arxiv.org/abs/2405.14045v1
- Date: Wed, 22 May 2024 22:32:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 19:44:34.075963
- Title: Learning rigid-body simulators over implicit shapes for large-scale scenes and vision
- Title（参考訳）: 大規模シーンと視覚のための暗示形状上の剛体シミュレータの学習
- Authors: Yulia Rubanova, Tatiana Lopez-Guevara, Kelsey R. Allen, William F. Whitney, Kimberly Stachenfeld, Tobias Pfaff,
- Abstract要約: 本稿では,SDF-Simについて紹介する。
学習した符号距離関数(SDF)を用いて物体形状を表現し,距離計算を高速化する。
文学において初めて、GNNベースのシミュレータを数百のオブジェクトと最大1100万ノードのシーンに拡張できることを実証した。
- 参考スコア（独自算出の注目度）: 11.815473102158368
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simulating large scenes with many rigid objects is crucial for a variety of applications, such as robotics, engineering, film and video games. Rigid interactions are notoriously hard to model: small changes to the initial state or the simulation parameters can lead to large changes in the final state. Recently, learned simulators based on graph networks (GNNs) were developed as an alternative to hand-designed simulators like MuJoCo and PyBullet. They are able to accurately capture dynamics of real objects directly from real-world observations. However, current state-of-the-art learned simulators operate on meshes and scale poorly to scenes with many objects or detailed shapes. Here we present SDF-Sim, the first learned rigid-body simulator designed for scale. We use learned signed-distance functions (SDFs) to represent the object shapes and to speed up distance computation. We design the simulator to leverage SDFs and avoid the fundamental bottleneck of the previous simulators associated with collision detection. For the first time in literature, we demonstrate that we can scale the GNN-based simulators to scenes with hundreds of objects and up to 1.1 million nodes, where mesh-based approaches run out of memory. Finally, we show that SDF-Sim can be applied to real world scenes by extracting SDFs from multi-view images.
- Abstract（参考訳）: ロボット工学、工学、映画、ビデオゲームなど、さまざまな用途において、多数の剛体物体で大きなシーンをシミュレートすることが不可欠である。
初期状態やシミュレーションパラメータへの小さな変更は、最終状態に大きな変更をもたらす可能性がある。
近年,MuJoCoやPyBulletといった手作りシミュレータの代替として,グラフネットワーク(GNN)に基づく学習シミュレータが開発された。
彼らは現実世界の観測から直接、実際の物体の力学を正確に捉えることができる。
しかし、現在の最先端の学習シミュレータはメッシュ上で動作し、多くのオブジェクトや詳細な形状を持つシーンにはスケールしにくい。
本稿では,SDF-Simについて紹介する。
学習した符号距離関数(SDF)を用いて物体形状を表現し,距離計算を高速化する。
我々は,SDFを利用するシミュレータを設計し,衝突検出に関連する以前のシミュレータの基本的ボトルネックを回避する。
文学において初めて、GNNベースのシミュレータを数百のオブジェクトと最大1100万ノードのシーンにスケールできることを示しました。
最後に、マルチビュー画像からSDFを抽出することにより、実世界のシーンにSDF-Simを適用することができることを示す。
関連論文リスト
- Scaling Face Interaction Graph Networks to Real World Scenes [12.519862235430153]
本稿では,グラフベースの学習シミュレータの実行に必要なメモリを大幅に削減する手法を提案する。
提案手法は,従来のグラフベースシミュレータに比べて,精度を保ちながらメモリ使用量が大幅に少ないことを示す。
これにより、学習したシミュレータの応用を、推論時に知覚情報しか利用できない設定に拡張する道が開ける。
論文 参考訳（メタデータ） (2024-01-22T14:38:25Z) - Learning 3D Particle-based Simulators from RGB-D Videos [15.683877597215494]
本研究では,シミュレータを直接観測から学習する手法を提案する。
視覚粒子ダイナミクス(VPD)は、3Dシーンの潜在粒子ベースの表現を共同で学習する。
既存の2Dビデオ予測モデルとは異なり、VPDの3D構造はシーン編集と長期予測を可能にする。
論文 参考訳（メタデータ） (2023-12-08T20:45:34Z) - Learning Interactive Real-World Simulators [96.5991333400566]
生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。
シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。
ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
論文 参考訳（メタデータ） (2023-10-09T19:42:22Z) - DiffCloud: Real-to-Sim from Point Clouds with Differentiable Simulation
and Rendering of Deformable Objects [18.266002992029716]
変形可能な物体の操作に関する研究は、典型的には限られたシナリオで行われている。
様々な種類の変形と相互作用をサポートする現実的なシミュレータは、実験をスピードアップする可能性がある。
高度に変形可能なオブジェクトに対しては、シミュレータの出力と実際のオブジェクトの振る舞いを一致させることが困難である。
論文 参考訳（メタデータ） (2022-04-07T00:45:26Z) - DiSECt: A Differentiable Simulator for Parameter Inference and Control
in Robotic Cutting [71.50844437057555]
軟質材料を切断するための最初の微分可能シミュレータであるDiSECtについて述べる。
シミュレータは、符号付き距離場に基づく連続接触モデルにより有限要素法を増強する。
このシミュレータは, 最先端の商用解法を用いて, 結果の力やフィールドに適合するようにキャリブレーションできることを示す。
論文 参考訳（メタデータ） (2022-03-19T07:27:19Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。
DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。
実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
論文 参考訳（メタデータ） (2021-04-30T15:30:05Z) - GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
論文 参考訳（メタデータ） (2021-01-16T23:00:33Z) - LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。
まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。
本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
論文 参考訳（メタデータ） (2020-06-16T17:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。