論文の概要: gradSim: Differentiable simulation for system identification and
visuomotor control
- arxiv url: http://arxiv.org/abs/2104.02646v1
- Date: Tue, 6 Apr 2021 16:32:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-07 14:26:19.351137
- Title: gradSim: Differentiable simulation for system identification and
visuomotor control
- Title(参考訳): gradSim: システム識別と視覚運動制御のための微分可能シミュレーション
- Authors: Krishna Murthy Jatavallabhula and Miles Macklin and Florian Golemo and
Vikram Voleti and Linda Petrini and Martin Weiss and Breandan Considine and
Jerome Parent-Levesque and Kevin Xie and Kenny Erleben and Liam Paull and
Florian Shkurti and Derek Nowrouzezahrai and Sanja Fidler
- Abstract要約: 本稿では,微分可能マルチフィジカルシミュレーションと微分可能レンダリングを活用し,3次元監督への依存を克服するフレームワークであるgradsimを提案する。
当社の統合グラフは、状態ベースの(3D)監督に頼ることなく、挑戦的なバイスモメータ制御タスクで学習を可能にします。
- 参考スコア(独自算出の注目度): 66.37288629125996
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We consider the problem of estimating an object's physical properties such as
mass, friction, and elasticity directly from video sequences. Such a system
identification problem is fundamentally ill-posed due to the loss of
information during image formation. Current solutions require precise 3D labels
which are labor-intensive to gather, and infeasible to create for many systems
such as deformable solids or cloth. We present gradSim, a framework that
overcomes the dependence on 3D supervision by leveraging differentiable
multiphysics simulation and differentiable rendering to jointly model the
evolution of scene dynamics and image formation. This novel combination enables
backpropagation from pixels in a video sequence through to the underlying
physical attributes that generated them. Moreover, our unified computation
graph -- spanning from the dynamics and through the rendering process --
enables learning in challenging visuomotor control tasks, without relying on
state-based (3D) supervision, while obtaining performance competitive to or
better than techniques that rely on precise 3D labels.
- Abstract(参考訳): 本稿では,映像系列から直接物体の物理的特性,摩擦,弾性を推定する問題を考察する。
このようなシステム識別問題は、画像形成中の情報の損失により、基本的に不適切である。
現在のソリューションでは、収集に手間がかかり、変形可能な固体や布のような多くのシステムのために作成できない正確な3dラベルが必要である。
本稿では, 微分可能多量体シミュレーションと微分可能レンダリングを活用し, シーンダイナミクスと画像形成の進化を協調的にモデル化し, 3次元監督への依存を克服するフレームワークであるgradsimを提案する。
この新たな組み合わせにより、ビデオシーケンス内のピクセルから生成された物理属性へのバックプロパゲーションが可能になる。
さらに、我々の統合された計算グラフ -- 動的からレンダリングプロセスを通して - は、状態ベース(3D)の監督に頼ることなく、正確な3Dラベルに依存する技術よりもパフォーマンスの競争力を得ながら、挑戦的なビジュモータ制御タスクでの学習を可能にする。
関連論文リスト
- RISP: Rendering-Invariant State Predictor with Differentiable Simulation
and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。
本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。
提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
論文 参考訳(メタデータ) (2022-05-11T17:59:51Z) - SNUG: Self-Supervised Neural Dynamic Garments [14.83072352654608]
本研究では,パラメトリックな人体が着る衣服の動的3次元変形を自己指導的に学習する手法を提案する。
これにより、動的変形や細かいしわを含むインタラクティブな衣服のモデルを、トレーニング時間に2桁の速度で学習することができる。
論文 参考訳(メタデータ) (2022-04-05T13:50:21Z) - 3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch
Feature Swapping for Bodies and Faces [12.114711258010367]
本稿では,3次元形状変化型オートエンコーダを訓練する自己教師型アプローチを提案する。
3Dメッシュで行った実験結果から,潜伏不整合に対する最先端の手法では顔と身体の同一性を取り除けないことが明らかとなった。
論文 参考訳(メタデータ) (2021-11-24T11:53:33Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳(メタデータ) (2021-08-30T19:45:07Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳(メタデータ) (2021-07-08T17:49:37Z) - Limited-angle tomographic reconstruction of dense layered objects by
dynamical machine learning [68.9515120904028]
強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。
このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。
我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
論文 参考訳(メタデータ) (2020-07-21T11:48:22Z) - Learning to Simulate Complex Physics with Graph Networks [68.43901833812448]
本稿では,機械学習のフレームワークとモデルの実装について紹介する。
グラフネットワーク・ベース・シミュレータ(GNS)と呼ばれる我々のフレームワークは、グラフ内のノードとして表現された粒子で物理系の状態を表現し、学習されたメッセージパスによって動的を計算します。
我々のモデルは,訓練中に数千の粒子による1段階の予測から,異なる初期条件,数千の時間ステップ,少なくとも1桁以上の粒子をテスト時に一般化できることを示す。
論文 参考訳(メタデータ) (2020-02-21T16:44:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。