論文の概要: ReCap: Better Gaussian Relighting with Cross-Environment Captures

• arxiv url: http://arxiv.org/abs/2412.07534v1
• Date: Tue, 10 Dec 2024 14:15:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:58.090376
• Title: ReCap: Better Gaussian Relighting with Cross-Environment Captures
• Title（参考訳）: ReCap: 環境横断撮影によるガウシアンリライティングの改善
• Authors: Jingzhi Li, Zongwei Wu, Eduard Zamfir, Radu Timofte,
• Abstract要約: 本研究では,マルチタスクターゲットとして環境横断キャプチャを取り扱うReCapについて述べる。 具体的には、ReCapは共通の属性のセットを共有する複数の照明表現を共同で最適化する。 これにより、相互の材料属性を囲むコヒーレントな照明表現の集合が自然に調和し、様々な物体の外観の共通点と相違点を利用する。 合理化シェーディング機能と効果的な後処理機能とともに、ReCapはPSNRのリードコンペティターを3.4dBで上回っている。
• 参考スコア（独自算出の注目度）: 51.2614945509044
• License:
• Abstract: Accurate 3D objects relighting in diverse unseen environments is crucial for realistic virtual object placement. Due to the albedo-lighting ambiguity, existing methods often fall short in producing faithful relights. Without proper constraints, observed training views can be explained by numerous combinations of lighting and material attributes, lacking physical correspondence with the actual environment maps used for relighting. In this work, we present ReCap, treating cross-environment captures as multi-task target to provide the missing supervision that cuts through the entanglement. Specifically, ReCap jointly optimizes multiple lighting representations that share a common set of material attributes. This naturally harmonizes a coherent set of lighting representations around the mutual material attributes, exploiting commonalities and differences across varied object appearances. Such coherence enables physically sound lighting reconstruction and robust material estimation - both essential for accurate relighting. Together with a streamlined shading function and effective post-processing, ReCap outperforms the leading competitor by 3.4 dB in PSNR on an expanded relighting benchmark.
• Abstract（参考訳）: 多様な見えない環境での正確な3Dオブジェクトのリライティングは、現実的な仮想オブジェクト配置に不可欠である。 アルベドの光のあいまいさのため、既存の手法は忠実な光を作り出すのに不足することが多い。 適切な制約がなければ、観測されたトレーニングビューは、照明と材料属性の多くの組み合わせによって説明でき、ライティングに使用される実際の環境マップとの物理的対応が欠如している。 本研究では,マルチタスクターゲットとして環境横断キャプチャを取り扱うReCapについて述べる。 具体的には、ReCapは共通の属性のセットを共有する複数の照明表現を共同で最適化する。 これにより、相互の材料属性を囲むコヒーレントな照明表現の集合が自然に調和し、様々な物体の外観の共通点と相違点を利用する。 このようなコヒーレンスにより、物理的に音響的な照明の復元と頑健な材料推定が可能となり、どちらも正確なリライティングに必須である。 合理化シェーディング機能と効果的な後処理機能とともに、ReCapはPSNRのリードコンペティターを3.4dBで上回っている。

関連論文リスト

• LumiGauss: Relightable Gaussian Splatting in the Wild [15.11759492990967]
  本稿では,LumiGaussについて紹介する。LumiGaussは2次元ガウススプラッティングによるシーンの3次元再構成と環境照明を実現する技術である。 提案手法は高品質なシーン再構成を実現し,新しい環境マップ下でのリアルな照明合成を実現する。 提案手法をNeRF-OSRデータセット上で検証し,ベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-06T23:41:57Z)
• RRM: Relightable assets using Radiance guided Material extraction [5.175522626712229]
  反射率の高い物体が存在する場合であっても,シーンの材料,幾何学,環境照明を抽出できる手法を提案する。 本手法は,物理量に基づくパラメータを通知する放射場表現と,ラプラシアンピラミッドに基づく表現的環境光構造とから構成される。 提案手法は,パラメータ検索タスクにおける現状よりも優れており,高忠実なリライティングと,サーベイシックシーンにおける新しいビュー合成を実現している。
  論文  参考訳（メタデータ） (2024-07-08T21:10:31Z)
• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
  我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。 定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T01:58:54Z)
• SIR: Multi-view Inverse Rendering with Decomposable Shadow for Indoor Scenes [0.88756501225368]
  多視点データを用いた屋内シーンの逆レンダリングにおいて,識別可能な影を分解する効率的な方法であるSIRを提案する。 SIRは、未知の光位置下での物質推定において、現実性を高めるための影を明示的に学習する。 SIRの大幅な分解能力は、フリービューのリライト、オブジェクト挿入、材料置換といった高度な編集機能を実現する。
  論文  参考訳（メタデータ） (2024-02-09T01:48:44Z)
• Towards Practical Capture of High-Fidelity Relightable Avatars [60.25823986199208]
  TRAvatarは、様々な照明条件下で光ステージでキャプチャされた動的画像シーケンスで訓練される。 1回のフォワードパスでリアルタイムで出現を予測でき、高品質なリライト効果が得られる。 本フレームワークは,光リアリスティックなアバターアニメーションとリライティングの優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-09-08T10:26:29Z)
• LitAR: Visually Coherent Lighting for Mobile Augmented Reality [24.466149552743516]
  本稿では,LitARという照明再建フレームワークの設計と実装について述べる。 LitARは、モバイルARの照明情報をサポートするいくつかの課題に対処する。
  論文  参考訳（メタデータ） (2023-01-15T20:47:38Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Illumination Normalization by Partially Impossible Encoder-Decoder Cost Function [13.618797548020462]
  本稿では,エンコーダデコーダネットワークのコスト関数定式化のための新しい手法を提案する。 本手法は,異なる照明条件と環境条件下での同一シーンの可利用性を利用した。 適用性は3つの公開データセットで評価される。
  論文  参考訳（メタデータ） (2020-11-06T15:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。