論文の概要: SymmNeRF: Learning to Explore Symmetry Prior for Single-View View Synthesis

• arxiv url: http://arxiv.org/abs/2209.14819v1
• Date: Thu, 29 Sep 2022 14:35:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 17:19:31.063229
• Title: SymmNeRF: Learning to Explore Symmetry Prior for Single-View View Synthesis
• Title（参考訳）: SymmNeRF: シングルビュービュー合成に先立って対称性を探求する学習
• Authors: Xingyi Li, Chaoyi Hong, Yiran Wang, Zhiguo Cao, Ke Xian, Guosheng Lin
• Abstract要約: 単一画像からのオブジェクトの新規なビュー合成の問題について検討する。 既存の手法は、単一ビュービュー合成の可能性を実証している。 ニューラル放射場(NeRF)に基づくフレームワークであるSymphNeRFを提案する。
• 参考スコア（独自算出の注目度）: 66.38443539420138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of novel view synthesis of objects from a single image. Existing methods have demonstrated the potential in single-view view synthesis. However, they still fail to recover the fine appearance details, especially in self-occluded areas. This is because a single view only provides limited information. We observe that manmade objects usually exhibit symmetric appearances, which introduce additional prior knowledge. Motivated by this, we investigate the potential performance gains of explicitly embedding symmetry into the scene representation. In this paper, we propose SymmNeRF, a neural radiance field (NeRF) based framework that combines local and global conditioning under the introduction of symmetry priors. In particular, SymmNeRF takes the pixel-aligned image features and the corresponding symmetric features as extra inputs to the NeRF, whose parameters are generated by a hypernetwork. As the parameters are conditioned on the image-encoded latent codes, SymmNeRF is thus scene-independent and can generalize to new scenes. Experiments on synthetic and realworld datasets show that SymmNeRF synthesizes novel views with more details regardless of the pose transformation, and demonstrates good generalization when applied to unseen objects. Code is available at: https://github.com/xingyi-li/SymmNeRF.
• Abstract（参考訳）: 単一画像からのオブジェクトの新たなビュー合成の問題について検討する。 既存の手法は、単一ビュービュー合成の可能性を示している。 しかし、特に自閉した地域では、細かい外観の細部を回復することはできなかった。 これは単一のビューが限られた情報しか提供しないためである。 人工物は通常対称的な外観を示し、さらに事前の知識をもたらす。 そこで本研究では,シーン表現に明示的に対称性を埋め込むことによるパフォーマンス向上の可能性について検討する。 本稿では, 局所条件と大域条件を組み合わせたニューラル放射場(NeRF)に基づくフレームワークであるSymphNeRFを提案する。 特に、SymNeRFは、ハイパーネットワークによってパラメータが生成されるNeRFへの追加入力として、ピクセル整列画像特徴と対応する対称特徴を取り上げている。 パラメータはイメージエンコードされた潜在符号に条件付けされているため、SymNeRFはシーン独立であり、新しいシーンに一般化することができる。 合成および実世界のデータセットの実験により、SymNeRFはポーズ変換によらず、より詳細で新しいビューを合成し、目に見えないオブジェクトに適用した場合に良い一般化を示す。 コードは、https://github.com/xingyi-li/SymmNeRF.comで入手できる。

関連論文リスト

• TrackNeRF: Bundle Adjusting NeRF from Sparse and Noisy Views via Feature Tracks [57.73997367306271]
  TrackNeRFは新しいベンチマークをノイズとスパースビューの再構築で設定する。 TrackNeRFは最先端のBARFとSPARFよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-08-20T11:14:23Z)
• CombiNeRF: A Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis [1.374796982212312]
  ニューラル・ラジアンス・フィールド(NeRF)は、十分に多くのビューが利用可能である場合に、新しいビュー合成のための印象的な結果を示す。 本稿では,複数の正規化手法を相乗的に組み合わせたCombiNeRFを提案する。 CombiNeRFは、いくつかの公開データセットにおいて、数ショット設定で最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:59:00Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image [85.43496313628943]
  本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。 SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。 NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2022-04-02T19:32:42Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)
• Free View Synthesis [100.86844680362196]
  本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。 本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
  論文  参考訳（メタデータ） (2020-08-12T18:16:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。