論文の概要: RISP: Rendering-Invariant State Predictor with Differentiable Simulation
and Rendering for Cross-Domain Parameter Estimation
- arxiv url: http://arxiv.org/abs/2205.05678v1
- Date: Wed, 11 May 2022 17:59:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-12 17:42:27.166576
- Title: RISP: Rendering-Invariant State Predictor with Differentiable Simulation
and Rendering for Cross-Domain Parameter Estimation
- Title（参考訳）: RISP:クロスドメインパラメータ推定のための微分可能シミュレーションとレンダリングによるレンダリング不変状態予測器
- Authors: Pingchuan Ma, Tao Du, Joshua B. Tenenbaum, Wojciech Matusik, Chuang
Gan
- Abstract要約: 既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。
本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。
提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
- 参考スコア（独自算出の注目度）: 110.4255414234771
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: This work considers identifying parameters characterizing a physical system's
dynamic motion directly from a video whose rendering configurations are
inaccessible. Existing solutions require massive training data or lack
generalizability to unknown rendering configurations. We propose a novel
approach that marries domain randomization and differentiable rendering
gradients to address this problem. Our core idea is to train a
rendering-invariant state-prediction (RISP) network that transforms image
differences into state differences independent of rendering configurations,
e.g., lighting, shadows, or material reflectance. To train this predictor, we
formulate a new loss on rendering variances using gradients from differentiable
rendering. Moreover, we present an efficient, second-order method to compute
the gradients of this loss, allowing it to be integrated seamlessly into modern
deep learning frameworks. We evaluate our method in rigid-body and
deformable-body simulation environments using four tasks: state estimation,
system identification, imitation learning, and visuomotor control. We further
demonstrate the efficacy of our approach on a real-world example: inferring the
state and action sequences of a quadrotor from a video of its motion sequences.
Compared with existing methods, our approach achieves significantly lower
reconstruction errors and has better generalizability among unknown rendering
configurations.
- Abstract（参考訳）: この研究は、レンダリング構成がアクセス不能なビデオから直接物理系の動的動きを特徴付けるパラメータを特定することを検討する。
既存のソリューションは大量のトレーニングデータを必要とするか、未知のレンダリング設定の汎用性を欠いている。
本稿では、ドメインのランダム化と微分可能なレンダリング勾配を組み合わせた新しい手法を提案する。
我々の核となるアイデアはレンダリング不変状態予測(risp)ネットワークを訓練することであり、画像の違いをレンダリング構成、例えば照明、シャドー、物質反射などに依存しない状態差に変換する。
この予測器を訓練するために、微分可能レンダリングからの勾配を用いて、分散のレンダリングにおいて新たな損失を定式化する。
さらに、この損失の勾配を計算するための効率的な2階法を提案し、現代のディープラーニングフレームワークにシームレスに統合できるようにする。
本手法は剛体および変形体シミュレーション環境において, 状態推定, システム同定, 模倣学習, 振動運動制御の4つのタスクを用いて評価する。
さらに,実世界の実例における本手法の有効性を実証する。その動き列の映像から,クワッドローターの状態と動作シーケンスを推測する。
既存の手法と比較して,提案手法は再構成誤差を著しく低減し,未知のレンダリング構成の一般化性が向上する。
関連論文リスト
- MIRReS: Multi-bounce Inverse Rendering using Reservoir Sampling [17.435649250309904]
本稿では,新しい2段階逆レンダリングフレームワークであるMIRReSを紹介する。
提案手法は, ステージ1で明示的な幾何(三角形メッシュ)を抽出し, より現実的な物理ベースの逆レンダリングモデルを導入する。
本手法は,自己陰影や内部反射を含む間接照明を効果的に推定する。
論文 参考訳（メタデータ） (2024-06-24T07:00:57Z) - Rasterized Edge Gradients: Handling Discontinuities Differentiably [25.85191317712521]
近似を描画する不連続点の勾配を計算するための新しい手法を提案する。
本手法は, 慎重に設計した近似戦略により, 従来の複雑な問題をエレガントに単純化する。
我々は,人間の頭部のシーン再構成において,カメラ画像とセグメンテーションマスクのハンドリングを実演する。
論文 参考訳（メタデータ） (2024-05-03T22:42:00Z) - Near-realtime Facial Animation by Deep 3D Simulation Super-Resolution [7.14576106770047]
本稿では,低コストでリアルタイムな物理シミュレーションによって生み出す顔のパフォーマンスを効率よく,現実的に向上させるニューラルネットワークに基づくシミュレーションフレームワークを提案する。
顔のアニメーションをこのようなシミュレーション領域の例に用いて,2つのシミュレータで同じ筋の運動制御と骨格のポーズを単純にダイヤルすることで,この意味の一致を創り出すことができる。
提案するニューラルネットワーク超解像フレームワークは,このトレーニングセットから未確認表現を一般化し,リアルタイム変種における解像度の制限やコスト削減近似による2つのシミュレーション間の不一致をモデル化するための補償を行うとともに,意味記述子やパラメータを必要としない。
論文 参考訳（メタデータ） (2023-05-05T00:09:24Z) - CbwLoss: Constrained Bidirectional Weighted Loss for Self-supervised
Learning of Depth and Pose [13.581694284209885]
光度差は、未ラベルのモノクロビデオから深度とカメラのポーズを推定するためにニューラルネットワークを訓練するために使用される。
本稿では,アフィン変換とビュー合成によって生じる流れ場と深さ構造の違いを利用して,移動物体とオクルージョンを取り扱う。
ネットワークを追加することなく、より意味的な情報と文脈的な情報を持つ特徴の差を測定することにより、テクスチャレス領域がモデル最適化に与える影響を緩和する。
論文 参考訳（メタデータ） (2022-12-12T12:18:24Z) - Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。
我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。
提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
論文 参考訳（メタデータ） (2021-10-18T08:56:23Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-05-06T04:16:06Z) - gradSim: Differentiable simulation for system identification and
visuomotor control [66.37288629125996]
本稿では,微分可能マルチフィジカルシミュレーションと微分可能レンダリングを活用し,3次元監督への依存を克服するフレームワークであるgradsimを提案する。
当社の統合グラフは、状態ベースの(3D)監督に頼ることなく、挑戦的なバイスモメータ制御タスクで学習を可能にします。
論文 参考訳（メタデータ） (2021-04-06T16:32:01Z) - Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。
微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。
定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
論文 参考訳（メタデータ） (2021-04-01T09:29:05Z) - Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳（メタデータ） (2020-08-25T03:30:53Z) - Monocular Real-Time Volumetric Performance Capture [28.481131687883256]
本稿では,モノクロ映像から実時間速度でボリューム・パフォーマンス・キャプチャとノベル・ビュー・レンダリングを行うための最初のアプローチを提案する。
このシステムは,Pixel-Aligned Implicit Function (PIFu)を活用して,各フレームから完全にテクスチャ化された3次元人体を再構成する。
また,オンラインハード・サンプル・マイニング(OHEM)技術を導入し,難題の稀な発生により,障害モードを効果的に抑制する手法を提案する。
論文 参考訳（メタデータ） (2020-07-28T04:45:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。