論文の概要: LagerNVS: Latent Geometry for Fully Neural Real-time Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2603.20176v2
- Date: Fri, 27 Mar 2026 16:23:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-30 21:49:48.110045
- Title: LagerNVS: Latent Geometry for Fully Neural Real-time Novel View Synthesis
- Title(参考訳): LagerNVS: 完全ニューラルリアルタイム新規ビュー合成のための潜時幾何学
- Authors: Stanislaw Szymanowicz, Minghao Chen, Jianyuan Wang, Christian Rupprecht, Andrea Vedaldi,
- Abstract要約: LagerNVSは、ノベルビュー合成のためのエンコーダデコーダニューラルネットワークである。
このようなネットワークの設計において,強い3次元帰納バイアスが依然として有効であることを示す。
- 参考スコア(独自算出の注目度): 73.37845251310303
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent work has shown that neural networks can perform 3D tasks such as Novel View Synthesis (NVS) without explicit 3D reconstruction. Even so, we argue that strong 3D inductive biases are still helpful in the design of such networks. We show this point by introducing LagerNVS, an encoder-decoder neural network for NVS that builds on `3D-aware' latent features. The encoder is initialized from a 3D reconstruction network pre-trained using explicit 3D supervision. This is paired with a lightweight decoder, and trained end-to-end with photometric losses. LagerNVS achieves state-of-the-art deterministic feed-forward Novel View Synthesis (including 31.4 PSNR on Re10k), with and without known cameras, renders in real time, generalizes to in-the-wild data, and can be paired with a diffusion decoder for generative extrapolation.
- Abstract(参考訳): 最近の研究によると、ニューラルネットワークは、明示的な3D再構成なしに、ノベルビュー合成(NVS)のような3Dタスクを実行できる。
それでも、そのようなネットワークの設計には強力な3Dインダクティブバイアスが役立ちます。
3D-aware'潜在機能をベースに構築されたNVS用のエンコーダデコーダニューラルネットワークであるLagerNVSを導入することで、この点を示す。
エンコーダは、明示的な3D監視を用いて事前訓練された3D再構成ネットワークから初期化される。
これは軽量のデコーダと組み合わせて、フォトメトリックの損失でエンドツーエンドをトレーニングする。
LagerNVSは最新の決定論的フィードフォワード・ノベルビュー・シンセサイザー(Re10k上の31.4 PSNRを含む)を実現し、未知のカメラでリアルタイムにレンダリングし、内蔵データに一般化し、生成外挿のための拡散デコーダと組み合わせることができる。
関連論文リスト
- Locate 3D: Real-World Object Localization via Self-Supervised Learning in 3D [68.23391872643268]
LOCATE 3Dは「ソファーとランプの間の小さなコーヒーテーブル」のような表現から3Dシーンの物体をローカライズするモデルである
センサー・オブザーバ・ストリーム(RGB-Dフレームの配置)を直接操作し、ロボットやARデバイスへの現実世界の展開を可能にする。
論文 参考訳(メタデータ) (2025-04-19T02:51:24Z) - LVSM: A Large View Synthesis Model with Minimal 3D Inductive Bias [50.13457154615262]
スパースビュー入力からのスケーラブルで一般化可能な新規ビュー合成のためのトランスフォーマーに基づくアプローチを提案する。
本稿では,(1)入力画像トークンを1次元遅延トークンにエンコードするエンコーダデコーダLVSM,(2)入力画像を直接新規ビュー出力にマッピングするデコーダのみLVSMの2つのアーキテクチャを紹介する。
論文 参考訳(メタデータ) (2024-10-22T17:58:28Z) - An intuitive multi-frequency feature representation for SO(3)-equivariant networks [9.092163300680832]
本稿では,高次元特徴空間に3次元点をマッピングするための同変特徴表現を提案する。
我々の表現はVNへの入力として使用することができ、その結果、我々の特徴表現により、VNはより詳細をキャプチャすることを示した。
論文 参考訳(メタデータ) (2024-03-15T11:36:50Z) - Free3D: Consistent Novel View Synthesis without 3D Representation [63.931920010054064]
Free3Dは単分子開集合新規ビュー合成(NVS)の簡易的高精度な方法である
同様のアプローチを採った他の作品と比較して,明快な3D表現に頼らずに大幅な改善が得られた。
論文 参考訳(メタデータ) (2023-12-07T18:59:18Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳(メタデータ) (2022-09-29T04:06:00Z) - Implicit Autoencoder for Point-Cloud Self-Supervised Representation
Learning [39.521374237630766]
最もポピュラーでアクセスしやすい3D表現、すなわち点雲は、下層の連続した3D表面の離散的なサンプルを含む。
この離散化プロセスは3次元形状のサンプリングのバリエーションを導入し、真の3次元幾何学の伝達可能な知識を開発するのが困難になる。
標準的なオートエンコーディングパラダイムでは、エンコーダは3D形状だけでなく、3D形状の特定の離散サンプリングに関する情報を潜在コードにエンコードする。
これは、デコーダによって再構成された点雲が、原点と再構成された点との完全なマッピングがない限り、受け入れられないためである。
論文 参考訳(メタデータ) (2022-01-03T18:05:52Z) - 3D-OOCS: Learning Prostate Segmentation with Inductive Bias [5.907824204733372]
我々は,脊椎動物の視覚処理に触発された新しいアーキテクチャであるOOCS-enhanced Networkを紹介した。
ベースとして異なる3D U-Netの変種を伴って、第2エンコーダブロックに2つの3D残留成分(オン・オフ・センター・サラウンド)を付加する。
OOCSは、3DのU-Netが3D画像に存在する解剖学的構造を精査し、精査するのに役立つ。
論文 参考訳(メタデータ) (2021-10-29T10:14:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。