論文の概要: GS-ProCams: Gaussian Splatting-based Projector-Camera Systems
- arxiv url: http://arxiv.org/abs/2412.11762v1
- Date: Mon, 16 Dec 2024 13:26:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:54:25.815694
- Title: GS-ProCams: Gaussian Splatting-based Projector-Camera Systems
- Title（参考訳）: GS-ProCams:ガウススプラッティングに基づくプロジェクターカメラシステム
- Authors: Qingyue Deng, Jijiang Li, Haibin Ling, Bingyao Huang,
- Abstract要約: プロジェクタカメラシステム(ProCams)のための最初のガウススプラッティングベースのフレームワークであるGS-ProCamsを紹介する。
GS-ProCamsはプロジェクションマッピングの効率を大幅に向上させる。
600倍高速で、GPUメモリの1/10しか使用していない。
- 参考スコア（独自算出の注目度）: 49.69815958689441
- License:
- Abstract: We present GS-ProCams, the first Gaussian Splatting-based framework for projector-camera systems (ProCams). GS-ProCams significantly enhances the efficiency of projection mapping (PM) that requires establishing geometric and radiometric mappings between the projector and the camera. Previous CNN-based ProCams are constrained to a specific viewpoint, limiting their applicability to novel perspectives. In contrast, NeRF-based ProCams support view-agnostic projection mapping, however, they require an additional colocated light source and demand significant computational and memory resources. To address this issue, we propose GS-ProCams that employs 2D Gaussian for scene representations, and enables efficient view-agnostic ProCams applications. In particular, we explicitly model the complex geometric and photometric mappings of ProCams using projector responses, the target surface's geometry and materials represented by Gaussians, and global illumination component. Then, we employ differentiable physically-based rendering to jointly estimate them from captured multi-view projections. Compared to state-of-the-art NeRF-based methods, our GS-ProCams eliminates the need for additional devices, achieving superior ProCams simulation quality. It is also 600 times faster and uses only 1/10 of the GPU memory.
- Abstract（参考訳）: 本稿では,プロジェクタカメラシステム(ProCams)のための最初のガウススプラッティングベースのフレームワークであるGS-ProCamsを紹介する。
GS-ProCamsはプロジェクターとカメラの間の幾何学的およびラジオメトリックマッピングを確立する必要があるプロジェクターマッピング(PM)の効率を大幅に向上させる。
以前のCNNベースのProCamは特定の視点に制約されており、新しい視点に適用性を制限する。
対照的に、NeRFベースのProCamsはビューに依存しないプロジェクションマッピングをサポートするが、追加のコロケーション光源が必要であり、計算とメモリのリソースがかなり必要である。
本稿では,シーン表現に2D Gaussian を用いる GS-ProCams を提案する。
特に、プロカメラの複雑な幾何学的および測光的マッピングをプロジェクター応答、ターゲット表面の幾何と材料をガウスで表現し、大域的な照明成分を用いて明確にモデル化する。
そこで我々は,キャプチャした多視点投影から同時推定するために,微分可能な物理的レンダリングを用いる。
最新のNeRFベースの手法と比較して、GS-ProCamsは追加デバイスの必要性を排除し、優れたProCamsシミュレーション品質を実現する。
また、600倍高速で、GPUメモリの1/10しか使用していない。
関連論文リスト
- RelPose: Predicting Probabilistic Relative Rotation for Single Objects
in the Wild [73.1276968007689]
本稿では、任意のオブジェクトの複数の画像からカメラ視点を推定するデータ駆動手法について述べる。
本手法は, 画像の鮮明さから, 最先端のSfM法とSLAM法より優れていることを示す。
論文 参考訳（メタデータ） (2022-08-11T17:59:59Z) - Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。
まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。
そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:05:47Z) - Self-Supervised Camera Self-Calibration from Video [34.35533943247917]
汎用カメラモデルの効率的なファミリーを用いてシーケンスごとのキャリブレーションパラメータを回帰する学習アルゴリズムを提案する。
提案手法は,サブピクセル再投射誤差による自己校正を行い,他の学習手法よりも優れる。
論文 参考訳（メタデータ） (2021-12-06T19:42:05Z) - A Projector-Camera System Using Hybrid Pixels with Projection and
Capturing Capabilities [23.217683529089005]
本稿では,プロジェクタカメラシステム(ProCam)を提案する。
提案するProCamsは,プロジェクタとカメラの正確な対応を得るのが困難である。
論文 参考訳（メタデータ） (2021-07-11T13:27:25Z) - Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。
Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。
本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
論文 参考訳（メタデータ） (2020-07-30T09:21:04Z) - DeProCams: Simultaneous Relighting, Compensation and Shape
Reconstruction for Projector-Camera Systems [91.45207885902786]
本稿では,ProCamsの測光および幾何学的マッピングを学習するために,DeProCamsという新しいエンドツーエンドトレーニングモデルを提案する。
DeProCamsは、プロジェクターカメライメージマッピングを、シェーディング属性推定、粗い直接光推定、フォトリアリスティックなニューラルレンダリングの3つのサブプロセスに明示的に分解する。
私たちの実験では、DeProCamsは、期待できる品質と完全に差別化可能な従来の芸術よりも明確な優位性を示している。
論文 参考訳（メタデータ） (2020-03-06T05:49:16Z) - Redesigning SLAM for Arbitrary Multi-Camera Systems [51.81798192085111]
SLAMシステムにより多くのカメラを追加することで、堅牢性と精度が向上するが、視覚的なフロントエンドの設計は大幅に複雑になる。
本研究では,任意のマルチカメラ装置で動作する適応SLAMシステムを提案する。
これらの修正を応用した最先端の視覚慣性計測装置を試作し, 改良したパイプラインが広い範囲のカメラ装置に適応可能であることを示す実験結果を得た。
論文 参考訳（メタデータ） (2020-03-04T11:44:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。