論文の概要: Enhancement of Novel View Synthesis Using Omnidirectional Image Completion

• arxiv url: http://arxiv.org/abs/2203.09957v4
• Date: Thu, 7 Sep 2023 09:21:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 18:18:05.860795
• Title: Enhancement of Novel View Synthesis Using Omnidirectional Image Completion
• Title（参考訳）: 全方位画像補完を用いた新しいビュー合成の促進
• Authors: Takayuki Hara and Tatsuya Harada
• Abstract要約: ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
• 参考スコア（独自算出の注目度）: 61.78187618370681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we present a method for synthesizing novel views from a single 360-degree RGB-D image based on the neural radiance field (NeRF) . Prior studies relied on the neighborhood interpolation capability of multi-layer perceptrons to complete missing regions caused by occlusion and zooming, which leads to artifacts. In the method proposed in this study, the input image is reprojected to 360-degree RGB images at other camera positions, the missing regions of the reprojected images are completed by a 2D image generative model, and the completed images are utilized to train the NeRF. Because multiple completed images contain inconsistencies in 3D, we introduce a method to learn the NeRF model using a subset of completed images that cover the target scene with less overlap of completed regions. The selection of such a subset of images can be attributed to the maximum weight independent set problem, which is solved through simulated annealing. Experiments demonstrated that the proposed method can synthesize plausible novel views while preserving the features of the scene for both artificial and real-world data.
• Abstract（参考訳）: 本研究では,ニューラルラジアンス場(NeRF)に基づく単一の360度RGB-D画像から新しいビューを合成する方法を提案する。 それまでの研究は、多層パーセプトロンの近傍補間能力を、閉塞とズームによる完全な欠損領域に頼っていた。 本研究では,入力画像を他のカメラ位置の360度RGB画像に再投影し,2次元画像生成モデルにより再投影された画像の欠落領域を完了し,完成した画像を用いてNeRFを訓練する手法を提案する。 複数枚の画像に3Dの矛盾が生じているため, 対象画像のサブセットを用いてNeRFモデルを学習し, 領域の重複を少なくする手法を提案する。 このような画像のサブセットの選択は、シミュレーションアニールによって解決される最大重量独立セット問題に起因する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性新規ビューを合成できることが実証された。

関連論文リスト

• ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
  本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。 提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。 本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:58Z)
• Improving Neural Radiance Field using Near-Surface Sampling with Point Cloud Generation [6.506009070668646]
  本稿では,NeRFのレンダリング品質を向上させるため,表面近傍のサンプリングフレームワークを提案する。 新たな視点の深度情報を得るために,3次元点雲生成法と点雲から投影された深度を簡易に精錬する方法を提案する。
  論文  参考訳（メタデータ） (2023-10-06T10:55:34Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field [55.431697263581626]
  セマンティックな3次元画像合成と操作のための合成ニューラルネットワーク場(CNeRF)を提案する。 CNeRFは、イメージを意味領域に分割し、各領域の独立した神経放射場を学び、最終的にそれらを融合し、完全な画像をレンダリングする。 最先端の3D-Aware GAN法と比較して,我々は高品質な3D一貫性合成を維持しつつ,きめ細かな意味領域操作を可能にする。
  論文  参考訳（メタデータ） (2023-02-03T07:17:46Z)
• 360FusionNeRF: Panoramic Neural Radiance Fields with Joint Guidance [6.528382036284374]
  ニューラル放射場(NeRF)に基づくパノラマ画像から360円の新規なビューを合成する方法を提案する。 トレーニングプロセスの指導に幾何学的監督と意味的整合性を導入するための半教師付き学習フレームワークである360FusionNeRFを提案する。
  論文  参考訳（メタデータ） (2022-09-28T17:30:53Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。