論文の概要: DeProCams: Simultaneous Relighting, Compensation and Shape Reconstruction for Projector-Camera Systems

• arxiv url: http://arxiv.org/abs/2003.03040v2
• Date: Sun, 24 Jan 2021 09:19:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 01:49:04.242968
• Title: DeProCams: Simultaneous Relighting, Compensation and Shape Reconstruction for Projector-Camera Systems
• Title（参考訳）: DeProCams:プロジェクタカメラシステムのための同時リライト・補償・形状再構成
• Authors: Bingyao Huang and Haibin Ling
• Abstract要約: 本稿では,ProCamsの測光および幾何学的マッピングを学習するために,DeProCamsという新しいエンドツーエンドトレーニングモデルを提案する。 DeProCamsは、プロジェクターカメライメージマッピングを、シェーディング属性推定、粗い直接光推定、フォトリアリスティックなニューラルレンダリングの3つのサブプロセスに明示的に分解する。 私たちの実験では、DeProCamsは、期待できる品質と完全に差別化可能な従来の芸術よりも明確な優位性を示している。
• 参考スコア（独自算出の注目度）: 91.45207885902786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-based relighting, projector compensation and depth/normal reconstruction are three important tasks of projector-camera systems (ProCams) and spatial augmented reality (SAR). Although they share a similar pipeline of finding projector-camera image mappings, in tradition, they are addressed independently, sometimes with different prerequisites, devices and sampling images. In practice, this may be cumbersome for SAR applications to address them one-by-one. In this paper, we propose a novel end-to-end trainable model named DeProCams to explicitly learn the photometric and geometric mappings of ProCams, and once trained, DeProCams can be applied simultaneously to the three tasks. DeProCams explicitly decomposes the projector-camera image mappings into three subprocesses: shading attributes estimation, rough direct light estimation and photorealistic neural rendering. A particular challenge addressed by DeProCams is occlusion, for which we exploit epipolar constraint and propose a novel differentiable projector direct light mask. Thus, it can be learned end-to-end along with the other modules. Afterwards, to improve convergence, we apply photometric and geometric constraints such that the intermediate results are plausible. In our experiments, DeProCams shows clear advantages over previous arts with promising quality and meanwhile being fully differentiable. Moreover, by solving the three tasks in a unified model, DeProCams waives the need for additional optical devices, radiometric calibrations and structured light.
• Abstract（参考訳）: プロジェクターカメラシステム(procams)と空間拡張現実(sar)の3つの重要なタスクである。 プロジェクター・カメラの画像マッピングを見つけるという同様のパイプラインを共有しているが、伝統的にそれらは異なる前提条件、デバイス、サンプリングイメージで独立して対処される。 実際には、SARアプリケーションがそれらを1対1で扱うのは面倒なことだ。 本稿では,ProCamsの測光および幾何学的マッピングを明示的に学習するために,DeProCamsと呼ばれる新しいエンドツーエンドトレーニングモデルを提案し,一度トレーニングすれば,DeProCamsを3つのタスクに同時に適用することができる。 DeProCamsは、プロジェクターカメライメージマッピングを、シェーディング属性推定、粗い直接光推定、フォトリアリスティックなニューラルレンダリングの3つのサブプロセスに明示的に分解する。 DeProCamsが取り組んだ特定の課題は、極性制約を利用して、新しい微分可能なプロジェクタ直接光マスクを提案する閉塞である。 したがって、他のモジュールとともにエンドツーエンドで学習することができる。 その後、収束を改善するために、中間結果が可算であるような測光的および幾何的制約を適用する。 私たちの実験では、DeProCamsは、期待できる品質と、完全に差別化できるという、従来の芸術よりも明確な利点を示しています。 さらに、3つのタスクを統一されたモデルで解決することで、DeProCamsは追加の光学デバイス、ラジオメトリックキャリブレーション、構造化光の必要性を緩和する。

関連論文リスト

• FLARE: Feed-forward Geometry, Appearance and Camera Estimation from Uncalibrated Sparse Views [93.6881532277553]
  FLAREは、高品質カメラのポーズと3次元幾何を、補正されていないスパースビュー画像から推定するために設計されたフィードフォワードモデルである。 本ソリューションでは,3次元構造を2次元画像平面にマッピングする上で,カメラポーズが重要なブリッジとして機能するケースケード学習パラダイムを特徴とする。
  論文  参考訳（メタデータ） (2025-02-17T18:54:05Z)
• GS-ProCams: Gaussian Splatting-based Projector-Camera Systems [49.69815958689441]
  プロジェクタカメラシステム(ProCams)のための最初のガウススプラッティングベースのフレームワークであるGS-ProCamsを紹介する。 GS-ProCamsはプロジェクションマッピングの効率を大幅に向上させる。 600倍高速で、GPUメモリの1/10しか使用していない。
  論文  参考訳（メタデータ） (2024-12-16T13:26:52Z)
• Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
  Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。 事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。 これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
  論文  参考訳（メタデータ） (2024-07-15T07:16:11Z)
• Neural Radiance Fields with Torch Units [19.927273454898295]
  学習に基づく3D再構成法は産業用途に広く用いられている。 本稿では,よりコンテキスト情報を持つ単一カメラ光線を奨励する新しい推論パターンを提案する。 トーチライトとして、画像のパッチを描画する手法の光線を要約するため、提案手法をTorch-NeRFと呼ぶ。
  論文  参考訳（メタデータ） (2024-04-03T10:08:55Z)
• Neural Projection Mapping Using Reflectance Fields [11.74757574153076]
  我々は、プロジェクターを神経反射場に導入し、プロジェクターを校正し、リアルな光編集を行う。 私たちのニューラルネットワークは3つのニューラルネットワークで構成されています。 ニューラルプロジェクションマッピングは、シーンとプロジェクションイメージの共同最適化を通じて、新規でエキサイティングな下流タスクへの扉を開くと信じている。
  論文  参考訳（メタデータ） (2023-06-11T05:33:10Z)
• Camera Calibration through Camera Projection Loss [4.36572039512405]
  画像対を用いた固有(焦点長と主点オフセット)パラメータの予測手法を提案する。 従来の手法とは違って,マルチタスク学習フレームワークにおいて,カメラモデル方程式をニューラルネットワークとして組み込んだ新しい表現を提案する。 提案手法は,10パラメータ中7パラメータに対して,ディープラーニングと従来手法の両方に対して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-10-07T14:03:10Z)
• A Projector-Camera System Using Hybrid Pixels with Projection and Capturing Capabilities [23.217683529089005]
  本稿では,プロジェクタカメラシステム(ProCam)を提案する。 提案するProCamsは,プロジェクタとカメラの正確な対応を得るのが困難である。
  論文  参考訳（メタデータ） (2021-07-11T13:27:25Z)
• Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
  パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。 Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。 本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
  論文  参考訳（メタデータ） (2020-07-30T09:21:04Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。