論文の概要: Differentiable Inverse Rendering with Interpretable Basis BRDFs

• arxiv url: http://arxiv.org/abs/2411.17994v1
• Date: Wed, 27 Nov 2024 02:22:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:25:35.924462
• Title: Differentiable Inverse Rendering with Interpretable Basis BRDFs
• Title（参考訳）: 解釈可能な基底BRDFを用いた微分可能逆レンダリング
• Authors: Hoon-Gyu Chung, Seokjun Choi, Seung-Hwan Baek,
• Abstract要約: 逆レンダリングは、撮影画像から幾何と空間的に変化するBRDFの両方を再構成しようとする。 本稿では,解釈可能な基底BRDFを生成する微分可能な逆レンダリング手法を提案する。
• 参考スコア（独自算出の注目度）: 9.88708409803907
• License:
• Abstract: Inverse rendering seeks to reconstruct both geometry and spatially varying BRDFs (SVBRDFs) from captured images. To address the inherent ill-posedness of inverse rendering, basis BRDF representations are commonly used, modeling SVBRDFs as spatially varying blends of a set of basis BRDFs. However, existing methods often yield basis BRDFs that lack intuitive separation and have limited scalability to scenes of varying complexity. In this paper, we introduce a differentiable inverse rendering method that produces interpretable basis BRDFs. Our approach models a scene using 2D Gaussians, where the reflectance of each Gaussian is defined by a weighted blend of basis BRDFs. We efficiently render an image from the 2D Gaussians and basis BRDFs using differentiable rasterization and impose a rendering loss with the input images. During this analysis-by-synthesis optimization process of differentiable inverse rendering, we dynamically adjust the number of basis BRDFs to fit the target scene while encouraging sparsity in the basis weights. This ensures that the reflectance of each Gaussian is represented by only a few basis BRDFs. This approach enables the reconstruction of accurate geometry and interpretable basis BRDFs that are spatially separated. Consequently, the resulting scene representation, comprising basis BRDFs and 2D Gaussians, supports physically-based novel-view relighting and intuitive scene editing.
• Abstract（参考訳）: 逆レンダリングは、撮影画像から幾何と空間的に変化するBRDF(SVBRDF)の両方を再構成しようとする。 逆レンダリングの特性に対処するため、基底BRDF表現は一般に使われ、SVBRDFは基底BRDFの集合の空間的に変化するブレンドとしてモデル化される。 しかし、既存の手法は直感的な分離を欠き、様々な複雑さの場面に拡張性に制限のある基礎となるBRDFをしばしば得る。 本稿では,解釈可能な基底BRDFを生成する微分可能な逆レンダリング手法を提案する。 提案手法は,各ガウスの反射率がBRDFの重み付け混合により定義される2次元ガウスのシーンをモデル化する。 我々は,2次元ガウス画像とBRDFを,異なるラスタライゼーションを用いて効率よくレンダリングし,入力画像にレンダリングロスを課す。 本研究では, この解析・合成最適化プロセスにおいて, 対象シーンに適合する基本BRDFの数を動的に調整し, 基本重みの疎度を促進させる。 これにより、各ガウスの反射率がほんの数基底のBRDFで表される。 このアプローチは、空間的に分離された正確な幾何と解釈可能な基底BRDFの再構成を可能にする。 その結果、BRDFと2Dガウスアンからなるシーン表現は、物理ベースのノベルビューリライティングと直感的なシーン編集をサポートする。

関連論文リスト

• Differentiable Point-based Inverse Rendering [9.88708409803907]
  DPIR(DPIR)は、様々な照明下で撮影された画像を解析・合成し、形状と空間変化のBRDFを推定する手法である。 我々は、幾何学のためのハイブリッドな点-体積表現と反射率のための正規化された基底-BRDF表現を考案する。 本評価は,DPIRの再現精度,計算効率,メモリフットプリントにおいて,従来の作業よりも優れていたことを示す。
  論文  参考訳（メタデータ） (2023-12-05T04:13:31Z)
• Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
  フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。 提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-27T18:07:58Z)
• Towards Real-World Burst Image Super-Resolution: Benchmark and Method [93.73429028287038]
  本稿では,複数のフレームから画像の詳細を忠実に再構成する大規模リアルタイムバースト超解像データセットであるRealBSRを確立する。 また,FBAnet(Federated Burst Affinity Network)を導入し,実世界の画像劣化下での画像間の非自明な画素幅の変位について検討する。
  論文  参考訳（メタデータ） (2023-09-09T14:11:37Z)
• Differentiable Rendering of Neural SDFs through Reparameterization [32.47993049026182]
  ニューラルSDFにおける幾何学的シーンパラメータに対する正しい勾配を自動的に計算する手法を提案する。 提案手法は,地域サンプリング技術に基づいて,不連続性を考慮した連続的なワーピング機能を開発する。 我々の微分可能法は、多視点画像からの神経形状を最適化し、同等の3D再構成を生成できる。
  論文  参考訳（メタデータ） (2022-06-10T20:30:26Z)
• RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
  既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。 本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。 提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:51Z)
• Neural BRDFs: Representation and Operations [25.94375378662899]
  双方向反射率分布関数 (BRDF) はコンピュータグラフィックスにおいてリアルな物理的外観を生成するために広く用いられている。 我々は「ニューラルBRDF代数」の形式を示し、BRDFの表現と操作を同時に重視する。
  論文  参考訳（メタデータ） (2021-11-06T03:50:02Z)
• PhySG: Inverse Rendering with Spherical Gaussians for Physics-based Material Editing and Relighting [60.75436852495868]
  本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。 我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
  論文  参考訳（メタデータ） (2021-04-01T17:59:02Z)
• Generative Modelling of BRDF Textures from Flash Images [50.660026124025265]
  我々は、容易にキャプチャ、セマンティックな編集、一貫した、視覚素材の外観の効率よく再現できる潜在空間を学習する。 2番目のステップでは、材料コードに基づいて、私たちの方法は、BRDFモデルパラメータの無限で多様な空間フィールドを生成します。
  論文  参考訳（メタデータ） (2021-02-23T18:45:18Z)
• Neural BRDF Representation and Importance Sampling [79.84316447473873]
  本稿では,リフレクタンスBRDFデータのコンパクトニューラルネットワークに基づく表現について述べる。 BRDFを軽量ネットワークとしてエンコードし、適応角サンプリングによるトレーニングスキームを提案する。 複数の実世界のデータセットから等方性および異方性BRDFの符号化結果を評価する。
  論文  参考訳（メタデータ） (2021-02-11T12:00:24Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。