論文の概要: GenRec: Knowing Where to Reconstruct and Where to Generate
- arxiv url: http://arxiv.org/abs/2608.17832v1
- Date: Tue, 18 Aug 2026 14:31:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.36677
- Title: GenRec: Knowing Where to Reconstruct and Where to Generate
- Title(参考訳): GenRec: 再構築の場所と生成の場所を知る
- Authors: Ata Çelen, Jaewoo Jung, Federico Tombari, Marc Pollefeys, Sunghwan Hong, Michael Niemeyer, Daniel Barath,
- Abstract要約: GenRecは、再構築世代をそのアーキテクチャ、監督、勾配フローに直接分割するフローマッチングモデルである。
観察された領域で最高の復元忠実度を達成し、また、観測されていない領域では、知覚的品質の純粋に生成的ベースラインを超越する。
- 参考スコア(独自算出の注目度): 106.48347271421765
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Generative novel view synthesis from sparse input images is rarely all reconstruction or all generation: pixels visible in some source view have a unique correct value modulated only by view-dependent shading, while pixels in disocclusions or beyond the captured volume admit a distribution of plausible completions. Existing generative novel-view-synthesis methods conflate these regimes under a single uniform loss, blurring the line between geometric fidelity and creative hallucinations even when scene geometry is injected through warped point clouds or projected depth. We introduce GenRec, a multi-view flow matching model that builds the reconstruction--generation split directly into its architecture, supervision, and gradient flow. Guided by an observation mask derived from the source cameras and a monocular depth estimator, a flow matching backbone jointly denoises RGB and scene-coordinate maps across all target views, while a pixel-space refinement stage restores high-frequency detail on observed pixels; the same mask gates supervision so regression signals do not contaminate the generative prior. Across RealEstate10K, DL3DV-10K, and Mip-NeRF~360, in both single-view extrapolation and two-view interpolation, GenRec attains the best reconstruction fidelity in observed regions while also surpassing purely generative baselines on perceptual quality in unobserved ones, showing the effectiveness of our approach.
- Abstract(参考訳): あるソースビューで見えるピクセルは、ビュー依存シェーディングによってのみ変調されるユニークな正しい値を持ち、非閉塞またはキャプチャーボリューム以上のピクセルは、可視的な完了の分布を許容する。
既存の生成的新規ビュー合成法は、これらのレジームを単一の一様損失で説明し、歪んだ点雲や投影された深さを通してシーン幾何学が注入されたとしても、幾何学的忠実さと創造的幻覚の境界を曖昧にしている。
我々は、再構築世代をアーキテクチャ、監督、勾配流に直接分割する多視点フローマッチングモデルGenRecを紹介する。
ソースカメラと単眼深度推定器から導出される観察マスクによってガイドされ、バックボーンは、RGBとシーン座標マップを全対象ビューにわたって共同で認知し、画素空間の精細化段階は、観察された画素の高周波詳細を復元する。
GenRecはRealEstate10K,DL3DV-10K,Mip-NeRF~360において,単一視点外挿法と2視点補間法の両方において,観察された領域で最高の再構成忠実度を達成し,また,観測されていない領域における知覚品質の純粋生成ベースラインを超越し,我々のアプローチの有効性を示した。
関連論文リスト
- SplatGuide: Geometric Priors from 3D Gaussians for Pose-Free Novel View Synthesis [42.23526579547921]
SplatGuideは、3つの補完的な役割で1つの3DGSシーンを再利用する。
ガウス単位のソースビューインデックスは、ターゲットビュー投票マップに描画される。
レコンストラクショントークンは、クロスアテンションを介して特徴レベルのガイダンスを提供する。
論文 参考訳(メタデータ) (2026-08-17T17:45:57Z) - VidSplat: Gaussian Splatting Reconstruction with Geometry-Guided Video Diffusion Priors [79.88300861391114]
VidSplatは、トレーニング不要な生成的再構築フレームワークである。
生成と再構築の効果的な統合を可能にする2つの重要な課題に取り組む。
広範に使用されているベンチマーク実験は、スパースビューのシーン再構成における優れた性能を示している。
論文 参考訳(メタデータ) (2026-05-12T02:20:31Z) - G4Splat: Geometry-Guided Gaussian Splatting with Generative Prior [53.762256749551284]
我々は,3次元シーン再構成を効果的に活用するための基本的な前提条件として,正確な幾何学を同定する。
生成パイプライン全体にこの幾何学的ガイダンスを導入し、可視性マスク推定を改善し、新しいビュー選択をガイドし、ビデオ拡散モデルに着色した場合の多視点一貫性を向上させる。
本手法は,屋内および屋外の両方のシナリオにおいて,高い一般化性を有するシングルビュー入力とアンポーズ映像を自然にサポートする。
論文 参考訳(メタデータ) (2025-10-14T03:06:28Z) - OracleGS: Grounding Generative Priors for Sparse-View Gaussian Splatting [78.70702961852119]
OracleGSは、Gaussian Splattingのスパースビューのために、生成的完全性と回帰的忠実性を調整している。
提案手法は,多視点幾何学的証拠に先立って強力な生成条件を定め,幻覚的アーティファクトをフィルタリングし,非拘束領域における可塑性完備を保存している。
論文 参考訳(メタデータ) (2025-09-27T11:19:32Z) - DeOcc-1-to-3: 3D De-Occlusion from a Single Image via Self-Supervised Multi-View Diffusion [50.90541069907167]
閉塞型マルチビュー生成のためのエンドツーエンドフレームワークであるDeOcc-1-to-3を提案する。
私たちの自己教師型トレーニングパイプラインは、隠蔽されたイメージペアと擬似地上構造ビューを活用して、モデル構造を意識した補完とビュー整合性を教える。
論文 参考訳(メタデータ) (2025-06-26T17:58:26Z) - GenFusion: Closing the Loop between Reconstruction and Generation via Videos [24.195304481751602]
本稿では,再現性のあるRGB-Dレンダリングにおける映像フレームの条件付けを学習する再構成駆動型ビデオ拡散モデルを提案する。
また、生成モデルからトレーニングセットへの復元フレームを反復的に追加する循環核融合パイプラインを提案する。
論文 参考訳(メタデータ) (2025-03-27T07:16:24Z) - GenS: Generalizable Neural Surface Reconstruction from Multi-View Images [20.184657468900852]
GenSは、エンドツーエンドの一般化可能なニューラルサーフェス再構成モデルである。
我々の表現はより強力であり、グローバルな滑らかさを維持しながら高周波の詳細を回復することができる。
人気のあるベンチマーク実験により、我々のモデルは新たなシーンにうまく一般化できることが示された。
論文 参考訳(メタデータ) (2024-06-04T17:13:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。