論文の概要: Generalizable Patch-Based Neural Rendering
- arxiv url: http://arxiv.org/abs/2207.10662v1
- Date: Thu, 21 Jul 2022 17:57:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-22 13:26:47.760972
- Title: Generalizable Patch-Based Neural Rendering
- Title（参考訳）: 一般化可能なパッチベースニューラルレンダリング
- Authors: Mohammed Suhail, Carlos Esteves, Leonid Sigal, Ameesh Makadia
- Abstract要約: 未知のシーンの新たなビューを合成できるモデル学習のための新しいパラダイムを提案する。
本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。
本手法は,従来よりも少ないデータでトレーニングされた場合であっても,目立たないシーンの新たなビュー合成において,最先端のビュー合成よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 46.41746536545268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural rendering has received tremendous attention since the advent of Neural
Radiance Fields (NeRF), and has pushed the state-of-the-art on novel-view
synthesis considerably. The recent focus has been on models that overfit to a
single scene, and the few attempts to learn models that can synthesize novel
views of unseen scenes mostly consist of combining deep convolutional features
with a NeRF-like model. We propose a different paradigm, where no deep features
and no NeRF-like volume rendering are needed. Our method is capable of
predicting the color of a target ray in a novel scene directly, just from a
collection of patches sampled from the scene. We first leverage epipolar
geometry to extract patches along the epipolar lines of each reference view.
Each patch is linearly projected into a 1D feature vector and a sequence of
transformers process the collection. For positional encoding, we parameterize
rays as in a light field representation, with the crucial difference that the
coordinates are canonicalized with respect to the target ray, which makes our
method independent of the reference frame and improves generalization. We show
that our approach outperforms the state-of-the-art on novel view synthesis of
unseen scenes even when being trained with considerably less data than prior
work.
- Abstract（参考訳）: ニューラルレンダリングはNeural Radiance Fields (NeRF) の出現以来大きな注目を集めており、ノベルビューの合成に最先端を推し進めてきた。
最近の焦点は、1つのシーンに過度に適合するモデルであり、目に見えないシーンの新しいビューを合成できるモデルを学習しようとする試みは、主にNeRFのようなモデルと深い畳み込みの特徴を組み合わせたものである。
我々は、深い特徴やNeRFのようなボリュームレンダリングを必要としない異なるパラダイムを提案する。
本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。
まずエピポーラ幾何学を利用して各参照ビューのエピポーラ線に沿ってパッチを抽出する。
各パッチは1D特徴ベクトルに線形に投影され、トランスフォーマーのシーケンスがコレクションを処理する。
位置符号化では、光場表現のように光線をパラメータ化し、対象光に対して座標が正準化されているという重要な違いを生かして、この手法を基準フレームとは独立にし、一般化を改善する。
先行研究よりも少ないデータで訓練しても,このアプローチは未発見のシーンの新たな視点合成の最先端を上回っていることを示す。
関連論文リスト
- Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。
スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。
対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-04-17T17:40:52Z) - Cascaded and Generalizable Neural Radiance Fields for Fast View
Synthesis [35.035125537722514]
ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。
DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。
CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
論文 参考訳（メタデータ） (2022-08-09T12:23:48Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳（メタデータ） (2022-07-12T17:52:04Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳（メタデータ） (2021-12-31T11:56:01Z) - RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from
Sparse Inputs [79.00855490550367]
我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。
我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。
我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
論文 参考訳（メタデータ） (2021-12-01T18:59:46Z) - GeoNeRF: Generalizing NeRF with Geometry Priors [2.578242050187029]
ニューラルラジアンス場に基づく一般化可能なフォトリアリスティック・ノベルビュー手法GeoNeRFを提案する。
我々のアプローチは、幾何学的推論と合成という2つの主要な段階から構成される。
実験により、GeoNeRFは様々な合成および実際のデータセット上で、最先端の一般化可能なニューラルネットワークレンダリングモデルより優れていることが示された。
論文 参考訳（メタデータ） (2021-11-26T15:15:37Z) - NeLF: Practical Novel View Synthesis with Neural Light Field [93.41020940730915]
複雑なシーンの新規なビュー合成のための実用的で堅牢なディープラーニングソリューションを提案する。
我々のアプローチでは、連続的なシーンは光場、すなわち光線の集合として表現され、それぞれが対応する色を持つ。
インタラクティブなフレームレートを維持しながら、最新の新しいビュー合成結果を実現します。
論文 参考訳（メタデータ） (2021-05-15T01:20:30Z) - NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
本稿では,複雑なシーンの新たなビューを合成する手法を提案する。
提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。
ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
論文 参考訳（メタデータ） (2020-03-19T17:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。