論文の概要: SymmNeRF: Learning to Explore Symmetry Prior for Single-View View
Synthesis
- arxiv url: http://arxiv.org/abs/2209.14819v1
- Date: Thu, 29 Sep 2022 14:35:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 17:19:31.063229
- Title: SymmNeRF: Learning to Explore Symmetry Prior for Single-View View
Synthesis
- Title(参考訳): SymmNeRF: シングルビュービュー合成に先立って対称性を探求する学習
- Authors: Xingyi Li, Chaoyi Hong, Yiran Wang, Zhiguo Cao, Ke Xian, Guosheng Lin
- Abstract要約: 単一画像からのオブジェクトの新規なビュー合成の問題について検討する。
既存の手法は、単一ビュービュー合成の可能性を実証している。
ニューラル放射場(NeRF)に基づくフレームワークであるSymphNeRFを提案する。
- 参考スコア(独自算出の注目度): 66.38443539420138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of novel view synthesis of objects from a single image.
Existing methods have demonstrated the potential in single-view view synthesis.
However, they still fail to recover the fine appearance details, especially in
self-occluded areas. This is because a single view only provides limited
information. We observe that manmade objects usually exhibit symmetric
appearances, which introduce additional prior knowledge. Motivated by this, we
investigate the potential performance gains of explicitly embedding symmetry
into the scene representation. In this paper, we propose SymmNeRF, a neural
radiance field (NeRF) based framework that combines local and global
conditioning under the introduction of symmetry priors. In particular, SymmNeRF
takes the pixel-aligned image features and the corresponding symmetric features
as extra inputs to the NeRF, whose parameters are generated by a hypernetwork.
As the parameters are conditioned on the image-encoded latent codes, SymmNeRF
is thus scene-independent and can generalize to new scenes. Experiments on
synthetic and realworld datasets show that SymmNeRF synthesizes novel views
with more details regardless of the pose transformation, and demonstrates good
generalization when applied to unseen objects. Code is available at:
https://github.com/xingyi-li/SymmNeRF.
- Abstract(参考訳): 単一画像からのオブジェクトの新たなビュー合成の問題について検討する。
既存の手法は、単一ビュービュー合成の可能性を示している。
しかし、特に自閉した地域では、細かい外観の細部を回復することはできなかった。
これは単一のビューが限られた情報しか提供しないためである。
人工物は通常対称的な外観を示し、さらに事前の知識をもたらす。
そこで本研究では,シーン表現に明示的に対称性を埋め込むことによるパフォーマンス向上の可能性について検討する。
本稿では, 局所条件と大域条件を組み合わせたニューラル放射場(NeRF)に基づくフレームワークであるSymphNeRFを提案する。
特に、SymNeRFは、ハイパーネットワークによってパラメータが生成されるNeRFへの追加入力として、ピクセル整列画像特徴と対応する対称特徴を取り上げている。
パラメータはイメージエンコードされた潜在符号に条件付けされているため、SymNeRFはシーン独立であり、新しいシーンに一般化することができる。
合成および実世界のデータセットの実験により、SymNeRFはポーズ変換によらず、より詳細で新しいビューを合成し、目に見えないオブジェクトに適用した場合に良い一般化を示す。
コードは、https://github.com/xingyi-li/SymmNeRF.comで入手できる。
関連論文リスト
- ProvNeRF: Modeling per Point Provenance in NeRFs as a Stochastic Process [12.534255228953741]
ニューラル放射場(NeRF)は様々な用途で人気を集めている。
彼らはスパースビュー設定の課題に直面し、ボリュームレンダリングの十分な制約を欠いている。
ProvNeRF(ProvNeRF)は、ポイントごとの証明を組み込むことで、従来のNeRF表現を豊かにするモデルである。
論文 参考訳(メタデータ) (2024-01-16T06:19:18Z) - Re-Nerfing: Enforcing Geometric Constraints on Neural Radiance Fields
through Novel Views Synthesis [91.68255013336055]
Re-Nerfingは、NeRFのビュー合成を利用して制限に対処する、シンプルで一般的なマルチステージアプローチである。
すべてのビューでトレーニングしても、Re-Nerfingは最先端のZip-NeRFに改善をもたらすことを示す。
論文 参考訳(メタデータ) (2023-12-04T18:56:08Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single
Image [85.43496313628943]
本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。
SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。
NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2022-04-02T19:32:42Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z) - pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。
本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。
いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
論文 参考訳(メタデータ) (2020-12-03T18:59:54Z) - Free View Synthesis [100.86844680362196]
本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。
本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
論文 参考訳(メタデータ) (2020-08-12T18:16:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。