論文の概要: Differentiable Rendering with Perturbed Optimizers

• arxiv url: http://arxiv.org/abs/2110.09107v1
• Date: Mon, 18 Oct 2021 08:56:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 14:30:33.273056
• Title: Differentiable Rendering with Perturbed Optimizers
• Title（参考訳）: 摂動オプティマイザを用いた微分レンダリング
• Authors: Quentin Le Lidec, Ivan Laptev, Cordelia Schmid, Justin Carpentier
• Abstract要約: 2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。 我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。 提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
• 参考スコア（独自算出の注目度）: 85.66675707599782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning about 3D scenes from their 2D image projections is one of the core problems in computer vision. Solutions to this inverse and ill-posed problem typically involve a search for models that best explain observed image data. Notably, images depend both on the properties of observed scenes and on the process of image formation. Hence, if optimization techniques should be used to explain images, it is crucial to design differentiable functions for the projection of 3D scenes into images, also known as differentiable rendering. Previous approaches to differentiable rendering typically replace non-differentiable operations by smooth approximations, impacting the subsequent 3D estimation. In this paper, we take a more general approach and study differentiable renderers through the prism of randomized optimization and the related notion of perturbed optimizers. In particular, our work highlights the link between some well-known differentiable renderer formulations and randomly smoothed optimizers, and introduces differentiable perturbed renderers. We also propose a variance reduction mechanism to alleviate the computational burden inherent to perturbed optimizers and introduce an adaptive scheme to automatically adjust the smoothing parameters of the rendering process. We apply our method to 3D scene reconstruction and demonstrate its advantages on the tasks of 6D pose estimation and 3D mesh reconstruction. By providing informative gradients that can be used as a strong supervisory signal, we demonstrate the benefits of perturbed renderers to obtain more accurate solutions when compared to the state-of-the-art alternatives using smooth gradient approximations.
• Abstract（参考訳）: 2d画像投影から3dシーンを推論することは、コンピュータビジョンの重要な問題の1つだ。 この逆で不適切な問題の解は、通常、観測された画像データを説明するモデルの探索を伴う。 特に、画像は観察されたシーンの性質と画像形成過程の両方に依存する。 したがって、画像の説明に最適化技術を用いる場合、3Dシーンを画像に投影するための微分可能関数を設計することが重要である。 微分可能レンダリングに対する以前のアプローチは、通常、微分不可能操作を滑らかな近似で置き換え、その後の3次元推定に影響を与える。 本稿では,より一般的な手法を採用し,ランダム化最適化のプリズムと摂動最適化の関連する概念を通して微分可能レンダラについて検討する。 特に,よく知られた微分可能レンダラとランダムに平滑化されたオプティマイザとのリンクを強調し,微分可能な摂動レンダラを導入する。 また、摂動オプティマイザに固有の計算負荷を軽減する分散低減機構を提案し、レンダリングプロセスの平滑化パラメータを自動的に調整する適応スキームを導入する。 本手法を3次元シーン再構成に適用し,6次元ポーズ推定と3次元メッシュ再構成の課題にその利点を示す。 強力な監視信号として使用できる情報的勾配を提供することにより、滑らかな勾配近似を用いた最先端の代替品と比較してより正確な解を得るための摂動レンダラーの利点を実証する。

関連論文リスト

• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• Personalized 3D Human Pose and Shape Refinement [19.082329060985455]
  回帰に基づく手法は3次元人間のポーズと形状推定の分野を支配してきた。 本稿では,初期人間のモデル推定値と対応する画像との密接な対応性を構築することを提案する。 提案手法は画像モデルアライメントの改善だけでなく,3次元精度の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-03-18T10:13:53Z)
• Differentiable Rendering for Pose Estimation in Proximity Operations [4.282159812965446]
  微分レンダリングは、レンダリングパラメータに関する画像レンダリング関数の微分を計算することを目的としている。 本稿では,6-DoFポーズ推定のための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-24T06:12:16Z)
• Adaptive Joint Optimization for 3D Reconstruction with Differentiable Rendering [22.2095090385119]
  完璧に再構成された3Dモデルを考えると、従来の手法は幾何学、テクスチャ、カメラのポーズの洗練に重点を置いてきた。 本稿では、カメラポーズ、幾何学、テクスチャの最適化を統一されたフレームワークに統合する、微分可能レンダリングに基づく新しい最適化手法を提案する。 微分可能レンダリングを用いることで、3Dモデルをさらに改善し、よりフォトリアリスティックにすることができる。
  論文  参考訳（メタデータ） (2022-08-15T04:32:41Z)
• Differentiable Rendering for Synthetic Aperture Radar Imagery [0.0]
  本稿では,3次元コンピュータグラフィックスの手法とニューラルレンダリングを組み合わせた合成開口レーダ(SAR)画像の微分可能レンダリング手法を提案する。 高忠実度シミュレーションSARデータを用いた限られたSAR画像からの3次元オブジェクト再構成の逆画像問題に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2022-04-04T05:27:40Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
  微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。 微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。 定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
  論文  参考訳（メタデータ） (2021-04-01T09:29:05Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。