論文の概要: RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation

• arxiv url: http://arxiv.org/abs/2205.05678v1
• Date: Wed, 11 May 2022 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 17:42:27.166576
• Title: RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation
• Title（参考訳）: RISP:クロスドメインパラメータ推定のための微分可能シミュレーションとレンダリングによるレンダリング不変状態予測器
• Authors: Pingchuan Ma, Tao Du, Joshua B. Tenenbaum, Wojciech Matusik, Chuang Gan
• Abstract要約: 既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。 本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。 提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
• 参考スコア（独自算出の注目度）: 110.4255414234771
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This work considers identifying parameters characterizing a physical system's dynamic motion directly from a video whose rendering configurations are inaccessible. Existing solutions require massive training data or lack generalizability to unknown rendering configurations. We propose a novel approach that marries domain randomization and differentiable rendering gradients to address this problem. Our core idea is to train a rendering-invariant state-prediction (RISP) network that transforms image differences into state differences independent of rendering configurations, e.g., lighting, shadows, or material reflectance. To train this predictor, we formulate a new loss on rendering variances using gradients from differentiable rendering. Moreover, we present an efficient, second-order method to compute the gradients of this loss, allowing it to be integrated seamlessly into modern deep learning frameworks. We evaluate our method in rigid-body and deformable-body simulation environments using four tasks: state estimation, system identification, imitation learning, and visuomotor control. We further demonstrate the efficacy of our approach on a real-world example: inferring the state and action sequences of a quadrotor from a video of its motion sequences. Compared with existing methods, our approach achieves significantly lower reconstruction errors and has better generalizability among unknown rendering configurations.
• Abstract（参考訳）: この研究は、レンダリング構成がアクセス不能なビデオから直接物理系の動的動きを特徴付けるパラメータを特定することを検討する。 既存のソリューションは大量のトレーニングデータを必要とするか、未知のレンダリング設定の汎用性を欠いている。 本稿では、ドメインのランダム化と微分可能なレンダリング勾配を組み合わせた新しい手法を提案する。 我々の核となるアイデアはレンダリング不変状態予測(risp)ネットワークを訓練することであり、画像の違いをレンダリング構成、例えば照明、シャドー、物質反射などに依存しない状態差に変換する。 この予測器を訓練するために、微分可能レンダリングからの勾配を用いて、分散のレンダリングにおいて新たな損失を定式化する。 さらに、この損失の勾配を計算するための効率的な2階法を提案し、現代のディープラーニングフレームワークにシームレスに統合できるようにする。 本手法は剛体および変形体シミュレーション環境において, 状態推定, システム同定, 模倣学習, 振動運動制御の4つのタスクを用いて評価する。 さらに,実世界の実例における本手法の有効性を実証する。その動き列の映像から,クワッドローターの状態と動作シーケンスを推測する。 既存の手法と比較して,提案手法は再構成誤差を著しく低減し,未知のレンダリング構成の一般化性が向上する。
• 全文 参考訳へのリンク

関連論文リスト

• ERF: Explicit Radiance Field Reconstruction From Scratch [12.254150867994163]
  センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。 重要な革新の1つは、根底にある体積表現が完全に明示的であることである。 我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
  論文  参考訳（メタデータ） (2022-02-28T19:37:12Z)
• Combining Local and Global Pose Estimation for Precise Tracking of Similar Objects [2.861848675707602]
  類似・非テクスチャオブジェクトに対する多目的6D検出・追跡パイプラインを提案する。 合成画像のみを訓練した新しいネットワークアーキテクチャは、複数のオブジェクトの同時ポーズ推定を可能にする。 建設現場における実際のAR支援アプリケーションにおいて,システムがどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2022-01-31T14:36:57Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
  2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。 我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。 提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
  論文  参考訳（メタデータ） (2021-10-18T08:56:23Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• gradSim: Differentiable simulation for system identification and visuomotor control [66.37288629125996]
  本稿では,微分可能マルチフィジカルシミュレーションと微分可能レンダリングを活用し,3次元監督への依存を克服するフレームワークであるgradsimを提案する。 当社の統合グラフは、状態ベースの(3D)監督に頼ることなく、挑戦的なバイスモメータ制御タスクで学習を可能にします。
  論文  参考訳（メタデータ） (2021-04-06T16:32:01Z)
• Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
  微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。 微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。 定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
  論文  参考訳（メタデータ） (2021-04-01T09:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。