論文の概要: DIRT: Depth-completed Image-based Rendering using Two-band Blending for Live Novel-view Synthesis
- arxiv url: http://arxiv.org/abs/2611.18340v1
- Date: Fri, 13 Nov 2026 15:52:43 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:29:52.449704
- Title: DIRT: Depth-completed Image-based Rendering using Two-band Blending for Live Novel-view Synthesis
- Title(参考訳): DIRT:ライブノベルビュー合成のための2バンドブレンディングを用いた深部画像ベースレンダリング
- Abstract要約: ライブまたはアドホックなノベルビュー合成(NVS)は、キャプチャ中に低遅延レンダリングと新しいシーンへの強力な一般化を必要とする。
我々は,深度センサの観測と画像のセットで動作する従来の画像ベースレンダリングに倣って,ライブNVSアプローチを導入する。
提案手法は,キャプチャとノベルビューレンダリングの遅延を低減し,ネットワークの一般化に頼らない。
- 参考スコア(独自算出の注目度): 3.75937422758977
- License:
- Abstract: State-of-the-art novel-view synthesis (NVS) methods commonly require per-scene optimization before rendering, limiting their applicability in live settings. Live or ad-hoc NVS, however, demands low-latency rendering during capture and strong generalization to new scenes. Some previous work tried to address this task by adapting training- and optimization-based methods, trading quality for low latency. We introduce a live NVS approach following traditional image-based rendering that operates on a posed set of depth sensor observations and images. Our method leverages explicit, sparse point-based geometry obtained from active sensors, resulting in a sparsely filled depth buffer that is completed in the (novel) target view's screen-space. Using this proxy, a posed set of images is projected into the target frame before fusing the resulting observations through a frequency-aware two-band blending strategy. The pipeline is entirely non-neural and optimization-free, requiring no training data or scene-specific optimization. As a result, our approach reduces the delay between capture and novel-view rendering and does not rely on favorable network generalization. We validate the method's applicability to heterogeneous sensor setups - including handheld RGB-D cameras, automotive LiDAR, and thermal cameras - as well as challenging scenarios, such as low light captures. Our experiments demonstrate that the approach outperforms prior methods in live reconstruction scenarios, while maintaining competitive performance in conventional NVS benchmarks.
- Abstract(参考訳): State-of-the-art novel-view synthesis (NVS)メソッドはレンダリング前にシーンごとの最適化を必要とし、ライブ設定で適用性を制限する。
しかし、ライブまたはアドホックなNVSは、キャプチャ中の低レイテンシレンダリングと、新しいシーンへの強力な一般化を要求する。
以前の作業では、トレーニングベースの手法と最適化ベースの手法、低レイテンシのためのトレーディング品質を適用して、この問題に対処しようとした。
我々は,深度センサの観測と画像のセットで動作する従来の画像ベースレンダリングに倣って,ライブNVSアプローチを導入する。
本手法は,能動センサから得られる鮮明でスパースな点ベース形状を利用して,目標視野のスクリーン空間で完成する疎密な深度バッファを実現する。
このプロキシを用いて、周波数対応の2バンドブレンディング戦略により、結果の観測結果を融合する前に、画像のポーズセットをターゲットフレームに投影する。
パイプラインは完全に神経質で最適化不要で、トレーニングデータやシーン固有の最適化は必要ありません。
その結果,本手法はキャプチャとノベルビューレンダリングの遅延を低減し,ネットワークの一般化に頼らない。
我々は,手持ちのRGB-Dカメラ,自動車用LiDAR,サーマルカメラ,低照度撮影などの難易度シナリオなど,異種センサ装置への適用性を検証した。
提案手法は,従来のNVSベンチマークでは競合性能を維持しつつ,ライブリコンストラクションシナリオにおいて従来の手法よりも優れていることを示す。
関連論文リスト
- DeblurNVS: Geometric Latent Diffusion for Novel View Synthesis from Sparse Motion-Blurred Images [22.61939963916488]
新しいビュー合成(NVS)はコンピュータビジョンとグラフィックスの基本的な問題である。
ニューラルレイディアンスフィールド(NeRF),3次元ガウススプラッティング(3DGS)および生成ビュー合成の進歩により,その品質が大幅に向上した。
スパース・モーション・ブルード画像から直接高忠実度ノベルビューを実現するための新しいフレームワークであるDeNVSを提案する。
論文 参考訳(メタデータ) (2026-05-31T16:04:55Z) - PoI: A Filter to Extract Pixel of Interest from Novel View Synthesis for Scene Coordinate Regression [21.944369392190566]
新たなビュー合成(NVS)技術は、レンダリングされた画像でトレーニングデータを拡張することで、カメラのポーズ推定を強化することができる。
これらの方法で撮影された画像は、しばしばぼやけ、カメラポーズ推定のためのトレーニングデータとして信頼性を損なう。
本稿では,トレーニング中に最適な画素を動的に識別・破棄する二基準フィルタリング機構を提案する。
論文 参考訳(メタデータ) (2025-02-07T11:24:23Z) - D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。
我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文 参考訳(メタデータ) (2024-06-14T14:35:44Z) - fMPI: Fast Novel View Synthesis in the Wild with Layered Scene
Representations [9.75588035624177]
新規ビュー合成法(NVS)における2つの新しい入力処理パラダイムを提案する。
私たちのアプローチは、従来のパイプラインの2つの最も時間を要する側面を特定し、緩和します。
提案するパラダイムは,公開ベンチマークの最先端性を実現するNVS手法の設計を可能にすることを実証する。
論文 参考訳(メタデータ) (2023-12-26T16:24:08Z) - DARF: Depth-Aware Generalizable Neural Radiance Field [51.29437249009986]
本稿では,Depth-Aware Dynamic Smpling(DADS)戦略を用いたDARF(Depth-Aware Generalizable Neural Radiance Field)を提案する。
筆者らのフレームワークは,数枚の入力画像で,画素レベルと幾何学レベルの両方の見えないシーンを推測する。
DARFは、最先端の一般化可能なNeRF法と比較して、レンダリング品質と深さ推定を改善しつつ、サンプルを50%削減する。
論文 参考訳(メタデータ) (2022-12-05T14:00:59Z) - NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor
Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。
提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-09-02T17:54:31Z) - Free View Synthesis [100.86844680362196]
本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。
本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
論文 参考訳(メタデータ) (2020-08-12T18:16:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。