論文の概要: FF-ProCams: Feed-Forward Gaussian Splatting for Projector-Camera System
- arxiv url: http://arxiv.org/abs/2607.17803v1
- Date: Mon, 20 Jul 2026 10:42:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.594326
- Title: FF-ProCams: Feed-Forward Gaussian Splatting for Projector-Camera System
- Title(参考訳): FF-ProCams:プロジェクタカメラシステムのためのフィードフォワードガウススプレイティング
- Abstract要約: プロカメラシステム(ProCams)は,アクティブなシーン認識と,構造化照明による外観操作を実現する。
ProCamsの既存の逆レンダリング手法は、高忠実度な結果をもたらすが、シーンごとの時間的最適化に依存している。
本稿では,フィードフォワード3次元ガウス逆レンダリングフレームワークであるFF-ProCamsを提案する。
- 参考スコア(独自算出の注目度): 17.828959053537798
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Projector-camera (ProCams) systems achieve active scene perception and controllable appearance manipulation via structured illumination, serving as a core infrastructure for spatial augmented reality, projection mapping, and surface reflectance acquisition. Existing inverse-rendering methods for ProCams deliver high-fidelity results but rely on time-consuming per-scene optimization, while mainstream feed-forward 3D reconstruction models produce baked appearance that cannot adapt to spatially varying projector illumination. To resolve this accuracy-efficiency trade-off, we propose FF-ProCams, a Feed-Forward 3D Gaussian inverse-rendering framework for ProCams. A hybrid Mamba2-Transformer encoder aggregates cross-view geometric and photometric cues from sparse multi-view observations, and lightweight heads predict a relightable Gaussian representation in a single forward pass. We further design a projector-aware differentiable renderer to synthesize camera observations under arbitrary active illumination and ProCams poses. To enable feed-forward training, we construct a large-scale synthetic ProCams dataset covering diverse object geometries and surface materials. Experiments show FF-ProCams achieves high-fidelity projector-aware rendering, generalizes to unseen patterns, and supports novel projector-camera poses. Using only 8 input views, it outperforms optimization-based baselines with 297 views while reducing test-time reconstruction to 0.13 seconds (a three-to-five-order-of-magnitude speedup). The code and data are available at https://github.com/CPREgroup/FF-ProCams/.
- Abstract(参考訳): プロカメラシステム(ProCams)は,空間拡張現実,プロジェクションマッピング,表面反射率取得のコアインフラストラクチャとして機能する,構造照明による能動的シーン認識と制御可能な外観操作を実現する。
既存の ProCam の逆レンダリング手法は高忠実性を実現するが、時間を要するシーンごとの最適化に依存し、主流のフィードフォワード3D再構成モデルは空間的に変化するプロジェクター照明に適応できない焼き付き外観を生成する。
この精度と効率のトレードオフを解決するために,フィードフォワード3次元ガウス逆レンダリングフレームワークであるFF-ProCamsを提案する。
ハイブリッドのMamba2-Transformerエンコーダは、スパースな多視点観測から、横方向の幾何学的および測光的キューを集約し、軽量なヘッドは、単一の前方通過で光沢のあるガウス表現を予測する。
さらに、任意の能動照明とプロカメラのポーズの下でカメラ観測を合成するためのプロジェクタ対応微分可能なレンダラを設計する。
フィードフォワードトレーニングを実現するために,多種多様な対象地と表面材料をカバーする大規模合成ProCamsデータセットを構築した。
FF-ProCamsは高忠実なプロジェクタ認識レンダリングを実現し、見えないパターンに一般化し、新しいプロジェクタカメラのポーズをサポートする。
8つの入力ビューのみを使用して、最適化ベースのベースラインを297ビューで上回り、テスト時間再構成を0.13秒に短縮する(3対5のマグニチュード・オブ・マグニチュード・スピードアップ)。
コードとデータはhttps://github.com/CPREgroup/FF-ProCams/で公開されている。
関連論文リスト
- Tele360: Real-Time Feed-Forward Human Reconstruction from Sparse Unposed Cameras [43.56045236607455]
我々は,人間の動的再構成とライブ自由視点可視化のための,最初のリアルタイムフィードフォワードシステムであるTele360を紹介する。
本システムでは,時間インスタンス毎に動的3次元ガウス表現を共同で推定し,再構成する。
実験によると、Tele360は1台のGPU上で25FPS以上のリアルタイム2K入力・レンダリングをサポートしながら、スタジオベンチマークの最先端のビジュアル品質を実現している。
論文 参考訳(メタデータ) (2026-09-14T04:50:52Z) - ViewMorpher3D: A 3D-aware Diffusion Framework for Multi-Camera Novel View Synthesis in Autonomous Driving [20.935790354765604]
画像拡散モデルに基づく多視点画像拡張フレームワークであるViewMorpher3Dを紹介する。
シングルビューのアプローチとは異なり、ViewMorpher3Dはカメラのポーズに条件付けされた一連のレンダリングビュー、幾何学的先行3D、時間的に隣接または空間的に重複する参照ビューを共同で処理する。
我々のフレームワークは、様々なカメラとフレキシブルな参照/ターゲットビュー構成に対応しており、多様なセンサー設定に適応できる。
論文 参考訳(メタデータ) (2026-01-12T13:44:14Z) - 3DPR: Single Image 3D Portrait Relight using Generative Priors [101.74130664920868]
3DPRは画像ベースのリライティングモデルであり、マルチビューのOne-Light-at-A-Time (OLAT)イメージから学習した生成的事前情報を活用する。
我々は,事前学習した画像データセットから学習した顔の幾何に先立ってリッチな情報を提供する,事前学習された生成ヘッドモデルの潜時空間を活用する。
我々のリフレクタンスネットワークは生成ヘッドモデルの潜在空間で動作し、比較的少数の光ステージ画像でリフレクタンスモデルを訓練することが可能である。
論文 参考訳(メタデータ) (2025-10-17T17:37:42Z) - SViM3D: Stable Video Material Diffusion for Single Image 3D Generation [48.986972061812004]
ビデオ拡散モデルは、1つの画像から3Dオブジェクトを効率的に再構成するのに成功している。
我々は,映像拡散モデルを拡張し,空間的に変化するPBRパラメータと表面正規度を,明示的なカメラ制御に基づいて各生成したビューと共同で出力する。
このユニークなセットアップにより、私たちのモデルをニューラルプリエントとして使用した3Dアセットのリライトと生成が可能になります。
論文 参考訳(メタデータ) (2025-10-09T14:29:47Z) - DPCS: Path Tracing-Based Differentiable Projector-Camera Systems [49.69815958689441]
ProCamのプロジェクタカメラシステム(ProCams)シミュレーションは、プロカメラの物理的プロジェクタ・アンド・キャプチャ・プロセスと関連するシーンパラメータをモデル化することを目的としている。
最近の進歩は、プロジェクト・アンド・キャプチャプロセスを学ぶためにエンドツーエンドのニューラルネットワークを使用している。
本稿では,新しい経路追従型微分可能プロジェクタカメラシステム(DPCS)を導入し,微分可能なProCamsシミュレーション手法を提案する。
論文 参考訳(メタデータ) (2025-03-15T15:31:18Z) - GS-ProCams: Gaussian Splatting-based Projector-Camera Systems [43.14716504756479]
プロジェクタカメラシステム(ProCams)のための最初のガウススプラッティングベースのフレームワークであるGS-ProCamsを紹介する。
GS-ProCamsはビューに依存しないが、プロジェクションマッピング(PM)の効率を大幅に向上させる
また、トレーニングにはGPUメモリの1/10しか使用せず、推論速度の900倍高速である。
論文 参考訳(メタデータ) (2024-12-16T13:26:52Z) - Pose-Free Generalizable Rendering Transformer [72.47072706742065]
PF-GRTは、Generalizable Rendering Transformer用のPose-Freeフレームワークである。
PF-GRTは局所相対座標系を用いてパラメータ化される。
データセットのゼロショットレンダリングによる実験では、フォトリアリスティック画像の生成において、優れた品質が得られることが明らかになった。
論文 参考訳(メタデータ) (2023-10-05T17:24:36Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z) - DeProCams: Simultaneous Relighting, Compensation and Shape
Reconstruction for Projector-Camera Systems [91.45207885902786]
本稿では,ProCamsの測光および幾何学的マッピングを学習するために,DeProCamsという新しいエンドツーエンドトレーニングモデルを提案する。
DeProCamsは、プロジェクターカメライメージマッピングを、シェーディング属性推定、粗い直接光推定、フォトリアリスティックなニューラルレンダリングの3つのサブプロセスに明示的に分解する。
私たちの実験では、DeProCamsは、期待できる品質と完全に差別化可能な従来の芸術よりも明確な優位性を示している。
論文 参考訳(メタデータ) (2020-03-06T05:49:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。