論文の概要: Cross-Ray Neural Radiance Fields for Novel-view Synthesis from Unconstrained Image Collections

• arxiv url: http://arxiv.org/abs/2307.08093v2
• Date: Tue, 15 Aug 2023 06:29:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 16:08:06.770180
• Title: Cross-Ray Neural Radiance Fields for Novel-view Synthesis from Unconstrained Image Collections
• Title（参考訳）: 非拘束画像からの新規ビュー合成のためのクロスレイトニューラルラジアンス場
• Authors: Yifan Yang and Shuhai Zhang and Zixiong Huang and Yubing Zhang and Mingkui Tan
• Abstract要約: 我々は人間の知覚過程を模倣するクロスレイネRF(CR-NeRF)を提案する。 CR-NeRFは、画像と同じ外観で新しいビューを合成する。 理論的には、複数の光線にまたがる相関を利用して、よりグローバルな情報を取得することが期待できる。
• 参考スコア（独自算出の注目度）: 38.80819389602147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) is a revolutionary approach for rendering scenes by sampling a single ray per pixel and it has demonstrated impressive capabilities in novel-view synthesis from static scene images. However, in practice, we usually need to recover NeRF from unconstrained image collections, which poses two challenges: 1) the images often have dynamic changes in appearance because of different capturing time and camera settings; 2) the images may contain transient objects such as humans and cars, leading to occlusion and ghosting artifacts. Conventional approaches seek to address these challenges by locally utilizing a single ray to synthesize a color of a pixel. In contrast, humans typically perceive appearance and objects by globally utilizing information across multiple pixels. To mimic the perception process of humans, in this paper, we propose Cross-Ray NeRF (CR-NeRF) that leverages interactive information across multiple rays to synthesize occlusion-free novel views with the same appearances as the images. Specifically, to model varying appearances, we first propose to represent multiple rays with a novel cross-ray feature and then recover the appearance by fusing global statistics, i.e., feature covariance of the rays and the image appearance. Moreover, to avoid occlusion introduced by transient objects, we propose a transient objects handler and introduce a grid sampling strategy for masking out the transient objects. We theoretically find that leveraging correlation across multiple rays promotes capturing more global information. Moreover, extensive experimental results on large real-world datasets verify the effectiveness of CR-NeRF.
• Abstract（参考訳）: NeRF(Neural Radiance Fields)は、1ピクセルあたりの1光線をサンプリングすることでシーンを描画する革命的なアプローチであり、静的なシーン画像から新規ビューの合成機能を示す。 しかし、実際には、通常、制約のないイメージコレクションからNeRFを回復する必要があります。 1)撮影時間とカメラ設定が異なるため、画像の外観が動的に変化することが多い。 2) 画像には,人間や車などの過渡的な物体が含まれ,閉塞やゴースト的アーティファクトにつながる可能性がある。 従来のアプローチでは、1つの光線を局所的に利用してピクセルの色を合成することでこれらの課題に対処しようとする。 対照的に、人間は通常、複数のピクセルにまたがる情報をグローバルに活用して外観や物体を知覚する。 本稿では,人間の知覚過程を模倣するために,複数の光線にまたがるインタラクティブな情報を利用して,画像と同じ外観のオクルージョンフリーな新規ビューを合成するクロスレイネフ(cr-nerf)を提案する。 具体的には、まず、新しいクロスレイ特徴を持つ複数の光線を表現し、次に、大域的な統計、すなわち、光線の特徴の共分散と画像の出現を融合して、その外観を復元することを提案する。 さらに,過渡オブジェクトによる閉塞を回避するために,過渡オブジェクトハンドラを提案し,過渡オブジェクトをマスキングするグリッドサンプリング戦略を提案する。 理論的には、複数の光線にまたがる相関の活用は、よりグローバルな情報収集を促進する。 さらに,cr-nerfの有効性を大規模実世界のデータセットで検証した。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• Neural Radiance Fields with Torch Units [19.927273454898295]
  学習に基づく3D再構成法は産業用途に広く用いられている。 本稿では,よりコンテキスト情報を持つ単一カメラ光線を奨励する新しい推論パターンを提案する。 トーチライトとして、画像のパッチを描画する手法の光線を要約するため、提案手法をTorch-NeRFと呼ぶ。
  論文  参考訳（メタデータ） (2024-04-03T10:08:55Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Semantic Ray: Learning a Generalizable Semantic Field with Cross-Reprojection Attention [18.512876541741726]
  我々は,正確で効率的で一般化可能な複数のシーンから意味的放射場を学習することを目指している。 本稿では,その多視点再計画から線方向のセマンティック情報を完全に活用するセマンティック・レイを提案する。 実験により、S線は複数のシーンから学習できることが示され、見えないシーンに適応する強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2023-03-23T03:33:20Z)
• Generalizable Patch-Based Neural Rendering [46.41746536545268]
  未知のシーンの新たなビューを合成できるモデル学習のための新しいパラダイムを提案する。 本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。 本手法は,従来よりも少ないデータでトレーニングされた場合であっても,目立たないシーンの新たなビュー合成において,最先端のビュー合成よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-21T17:57:04Z)
• Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [34.80975358673563]
  本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。 ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T17:32:46Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。