論文の概要: gradSim: Differentiable simulation for system identification and visuomotor control

• arxiv url: http://arxiv.org/abs/2104.02646v1
• Date: Tue, 6 Apr 2021 16:32:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:26:19.351137
• Title: gradSim: Differentiable simulation for system identification and visuomotor control
• Title（参考訳）: gradSim: システム識別と視覚運動制御のための微分可能シミュレーション
• Authors: Krishna Murthy Jatavallabhula and Miles Macklin and Florian Golemo and Vikram Voleti and Linda Petrini and Martin Weiss and Breandan Considine and Jerome Parent-Levesque and Kevin Xie and Kenny Erleben and Liam Paull and Florian Shkurti and Derek Nowrouzezahrai and Sanja Fidler
• Abstract要約: 本稿では,微分可能マルチフィジカルシミュレーションと微分可能レンダリングを活用し,3次元監督への依存を克服するフレームワークであるgradsimを提案する。 当社の統合グラフは、状態ベースの(3D)監督に頼ることなく、挑戦的なバイスモメータ制御タスクで学習を可能にします。
• 参考スコア（独自算出の注目度）: 66.37288629125996
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We consider the problem of estimating an object's physical properties such as mass, friction, and elasticity directly from video sequences. Such a system identification problem is fundamentally ill-posed due to the loss of information during image formation. Current solutions require precise 3D labels which are labor-intensive to gather, and infeasible to create for many systems such as deformable solids or cloth. We present gradSim, a framework that overcomes the dependence on 3D supervision by leveraging differentiable multiphysics simulation and differentiable rendering to jointly model the evolution of scene dynamics and image formation. This novel combination enables backpropagation from pixels in a video sequence through to the underlying physical attributes that generated them. Moreover, our unified computation graph -- spanning from the dynamics and through the rendering process -- enables learning in challenging visuomotor control tasks, without relying on state-based (3D) supervision, while obtaining performance competitive to or better than techniques that rely on precise 3D labels.
• Abstract（参考訳）: 本稿では,映像系列から直接物体の物理的特性,摩擦,弾性を推定する問題を考察する。 このようなシステム識別問題は、画像形成中の情報の損失により、基本的に不適切である。 現在のソリューションでは、収集に手間がかかり、変形可能な固体や布のような多くのシステムのために作成できない正確な3dラベルが必要である。 本稿では, 微分可能多量体シミュレーションと微分可能レンダリングを活用し, シーンダイナミクスと画像形成の進化を協調的にモデル化し, 3次元監督への依存を克服するフレームワークであるgradsimを提案する。 この新たな組み合わせにより、ビデオシーケンス内のピクセルから生成された物理属性へのバックプロパゲーションが可能になる。 さらに、我々の統合された計算グラフ -- 動的からレンダリングプロセスを通して - は、状態ベース(3D)の監督に頼ることなく、正確な3Dラベルに依存する技術よりもパフォーマンスの競争力を得ながら、挑戦的なビジュモータ制御タスクでの学習を可能にする。

関連論文リスト

• Simulation of microstructures and machine learning [0.5018974919510384]
  工業生産における光学的品質制御とコンクリートの3次元画像における分断き裂構造について論じる。 光品質制御では、すべての欠陥タイプをトレーニングする必要があるが、通常、トレーニングデータに均等に表現されない。 幾何学モデルの実現に基づく合成画像は、エレガントなアウトアウトを提供する。
  論文  参考訳（メタデータ） (2025-01-30T12:43:17Z)
• PhysMotion: Physics-Grounded Dynamics From a Single Image [24.096925413047217]
  本稿では、物理シミュレーションを利用した新しいフレームワークであるPhysMotionを紹介し、一つの画像と入力条件から生成された中間3次元表現をガイドする。 我々のアプローチは、従来のデータ駆動生成モデルの限界に対処し、より一貫した物理的に妥当な動きをもたらす。
  論文  参考訳（メタデータ） (2024-11-26T07:59:11Z)
• Unleashing the Potential of Multi-modal Foundation Models and Video Diffusion for 4D Dynamic Physical Scene Simulation [9.306758077479472]
  マルチモーダル基礎モデルとビデオ拡散を利用して、4次元動的シーンシミュレーションを実現する新しい手法を提案する。 この統合フレームワークは、現実世界のシナリオにおける動的相互作用の正確な予測と現実的なシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2024-11-21T18:55:23Z)
• DEL: Discrete Element Learner for Learning 3D Particle Dynamics with Neural Rendering [10.456618054473177]
  逆レンダリングにより2次元画像から3次元ダイナミクスを学習する方法を示す。 学習可能なグラフカーネルを古典的な離散要素分析フレームワークに組み込む。 本手法は, 部分的な2次元観察から, 各種材料の力学を効果的に学習することができる。
  論文  参考訳（メタデータ） (2024-10-11T16:57:02Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• Atlas3D: Physically Constrained Self-Supporting Text-to-3D for Simulation and Fabrication [50.541882834405946]
  我々は,テキストから3Dへの自動的実装であるAtlas3Dを紹介する。 提案手法は,新しい微分可能シミュレーションに基づく損失関数と,物理的にインスパイアされた正規化を組み合わせたものである。 我々は、Atlas3Dの有効性を広範囲な生成タスクを通して検証し、シミュレーションと実環境の両方で結果の3Dモデルを検証する。
  論文  参考訳（メタデータ） (2024-05-28T18:33:18Z)
• RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
  既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。 本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。 提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:51Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• Learning to Simulate Complex Physics with Graph Networks [68.43901833812448]
  本稿では,機械学習のフレームワークとモデルの実装について紹介する。 グラフネットワーク・ベース・シミュレータ(GNS)と呼ばれる我々のフレームワークは、グラフ内のノードとして表現された粒子で物理系の状態を表現し、学習されたメッセージパスによって動的を計算します。 我々のモデルは,訓練中に数千の粒子による1段階の予測から,異なる初期条件,数千の時間ステップ,少なくとも1桁以上の粒子をテスト時に一般化できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T16:44:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。