論文の概要: DPCS: Path Tracing-Based Differentiable Projector-Camera Systems

• arxiv url: http://arxiv.org/abs/2503.12174v1
• Date: Sat, 15 Mar 2025 15:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:29:19.957899
• Title: DPCS: Path Tracing-Based Differentiable Projector-Camera Systems
• Title（参考訳）: DPCS:経路追跡に基づく微分プロジェクタカメラシステム
• Authors: Jijiang Li, Qingyue Deng, Haibin Ling, Bingyao Huang,
• Abstract要約: ProCamのプロジェクタカメラシステム(ProCams)シミュレーションは、プロカメラの物理的プロジェクタ・アンド・キャプチャ・プロセスと関連するシーンパラメータをモデル化することを目的としている。 最近の進歩は、プロジェクト・アンド・キャプチャプロセスを学ぶためにエンドツーエンドのニューラルネットワークを使用している。 本稿では,新しい経路追従型微分可能プロジェクタカメラシステム(DPCS)を導入し,微分可能なProCamsシミュレーション手法を提案する。
• 参考スコア（独自算出の注目度）: 49.69815958689441
• License:
• Abstract: Projector-camera systems (ProCams) simulation aims to model the physical project-and-capture process and associated scene parameters of a ProCams, and is crucial for spatial augmented reality (SAR) applications such as ProCams relighting and projector compensation. Recent advances use an end-to-end neural network to learn the project-and-capture process. However, these neural network-based methods often implicitly encapsulate scene parameters, such as surface material, gamma, and white balance in the network parameters, and are less interpretable and hard for novel scene simulation. Moreover, neural networks usually learn the indirect illumination implicitly in an image-to-image translation way which leads to poor performance in simulating complex projection effects such as soft-shadow and interreflection. In this paper, we introduce a novel path tracing-based differentiable projector-camera systems (DPCS), offering a differentiable ProCams simulation method that explicitly integrates multi-bounce path tracing. Our DPCS models the physical project-and-capture process using differentiable physically-based rendering (PBR), enabling the scene parameters to be explicitly decoupled and learned using much fewer samples. Moreover, our physically-based method not only enables high-quality downstream ProCams tasks, such as ProCams relighting and projector compensation, but also allows novel scene simulation using the learned scene parameters. In experiments, DPCS demonstrates clear advantages over previous approaches in ProCams simulation, offering better interpretability, more efficient handling of complex interreflection and shadow, and requiring fewer training samples.
• Abstract（参考訳）: プロジェクター・カメラ・システム(ProCams)シミュレーションは,プロジェクターの物理的プロジェクター・アンド・キャプチャ・プロセスと関連するシーンパラメータをモデル化することを目的としており,プロジェクターのリライティングやプロジェクターの補償といった空間拡張現実(SAR)アプリケーションに不可欠である。 最近の進歩は、プロジェクト・アンド・キャプチャプロセスを学ぶためにエンドツーエンドのニューラルネットワークを使用している。 しかしながら、これらのニューラルネットワークベースの手法は、しばしば、ネットワークパラメータにおける表面物質、ガンマ、ホワイトバランスなどのシーンパラメータを暗黙的にカプセル化しており、新しいシーンシミュレーションでは解釈が難しく、難しい。 さらに、ニューラルネットワークは通常、画像から画像への変換方法で間接照明を暗黙的に学習し、ソフトシャドウや相互反射のような複雑な投影効果をシミュレートする性能が低下する。 本稿では,マルチバウンス・パス・トレーシングを明示的に統合した微分可能な ProCams シミュレーション手法であるDPCS を提案する。 我々のDPCSは、PBRを用いて物理的プロジェクト・アンド・キャプチャプロセスをモデル化し、シーンパラメータを明示的に分離し、より少ないサンプルを用いて学習することを可能にする。 さらに,本手法は,プロカメラのリライティングやプロジェクタ補償といった高品質な下流ProCamsタスクを実現するだけでなく,学習シーンパラメータを用いた新しいシーンシミュレーションを可能にする。 実験では、DPCSはProCamsシミュレーションにおける以前のアプローチよりも明確な利点を示し、より優れた解釈可能性を提供し、複雑な相互反射と影のより効率的な処理を提供し、より少ないトレーニングサンプルを必要とする。

関連論文リスト

• GS-ProCams: Gaussian Splatting-based Projector-Camera Systems [49.69815958689441]
  プロジェクタカメラシステム(ProCams)のための最初のガウススプラッティングベースのフレームワークであるGS-ProCamsを紹介する。 GS-ProCamsはプロジェクションマッピングの効率を大幅に向上させる。 600倍高速で、GPUメモリの1/10しか使用していない。
  論文  参考訳（メタデータ） (2024-12-16T13:26:52Z)
• Inverse Rendering using Multi-Bounce Path Tracing and Reservoir Sampling [17.435649250309904]
  本稿では,新しい2段階逆レンダリングフレームワークであるMIRReSを紹介する。 提案手法は, ステージ1で明示的な幾何(三角形メッシュ)を抽出し, より現実的な物理ベースの逆レンダリングモデルを導入する。 本手法は,自己陰影や内部反射を含む間接照明を効果的に推定する。
  論文  参考訳（メタデータ） (2024-06-24T07:00:57Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• Neural Projection Mapping Using Reflectance Fields [11.74757574153076]
  我々は、プロジェクターを神経反射場に導入し、プロジェクターを校正し、リアルな光編集を行う。 私たちのニューラルネットワークは3つのニューラルネットワークで構成されています。 ニューラルプロジェクションマッピングは、シーンとプロジェクションイメージの共同最適化を通じて、新規でエキサイティングな下流タスクへの扉を開くと信じている。
  論文  参考訳（メタデータ） (2023-06-11T05:33:10Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• Active Exploration for Neural Global Illumination of Variable Scenes [6.591705508311505]
  マルコフ連鎖モンテカルロを用いた新しいアクティブ探索法を提案する。 我々は、新しいシーンインスタンスのレンダリングを学習するニューラルジェネレータにアプローチを適用する。 本手法は, 硬質光輸送路のインタラクティブなレンダリングを可能にする。
  論文  参考訳（メタデータ） (2022-03-15T21:45:51Z)
• Camera Calibration through Camera Projection Loss [4.36572039512405]
  画像対を用いた固有(焦点長と主点オフセット)パラメータの予測手法を提案する。 従来の手法とは違って,マルチタスク学習フレームワークにおいて,カメラモデル方程式をニューラルネットワークとして組み込んだ新しい表現を提案する。 提案手法は,10パラメータ中7パラメータに対して,ディープラーニングと従来手法の両方に対して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-10-07T14:03:10Z)
• DeProCams: Simultaneous Relighting, Compensation and Shape Reconstruction for Projector-Camera Systems [91.45207885902786]
  本稿では,ProCamsの測光および幾何学的マッピングを学習するために,DeProCamsという新しいエンドツーエンドトレーニングモデルを提案する。 DeProCamsは、プロジェクターカメライメージマッピングを、シェーディング属性推定、粗い直接光推定、フォトリアリスティックなニューラルレンダリングの3つのサブプロセスに明示的に分解する。 私たちの実験では、DeProCamsは、期待できる品質と完全に差別化可能な従来の芸術よりも明確な優位性を示している。
  論文  参考訳（メタデータ） (2020-03-06T05:49:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。