論文の概要: CMC: Few-shot Novel View Synthesis via Cross-view Multiplane Consistency
- arxiv url: http://arxiv.org/abs/2402.16407v1
- Date: Mon, 26 Feb 2024 09:04:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 14:06:57.101430
- Title: CMC: Few-shot Novel View Synthesis via Cross-view Multiplane Consistency
- Title（参考訳）: CMC:クロスビュー多面体一貫性による新規ビュー合成
- Authors: Hanxin Zhu, Tianyu He, Zhibo Chen
- Abstract要約: 本稿では,入力ビュー間の奥行き認識一貫性を明確かつ効果的に構築する手法を提案する。
我々の重要な洞察は、同じ空間点を異なる入力ビューで繰り返しサンプリングすることで、ビュー間の相互作用を強化することができるということである。
単純かつ広範な実験により,提案手法は最先端の手法よりも優れた合成品質が得られることを示した。
- 参考スコア（独自算出の注目度）: 18.101763989542828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Field (NeRF) has shown impressive results in novel view
synthesis, particularly in Virtual Reality (VR) and Augmented Reality (AR),
thanks to its ability to represent scenes continuously. However, when just a
few input view images are available, NeRF tends to overfit the given views and
thus make the estimated depths of pixels share almost the same value. Unlike
previous methods that conduct regularization by introducing complex priors or
additional supervisions, we propose a simple yet effective method that
explicitly builds depth-aware consistency across input views to tackle this
challenge. Our key insight is that by forcing the same spatial points to be
sampled repeatedly in different input views, we are able to strengthen the
interactions between views and therefore alleviate the overfitting problem. To
achieve this, we build the neural networks on layered representations
(\textit{i.e.}, multiplane images), and the sampling point can thus be
resampled on multiple discrete planes. Furthermore, to regularize the unseen
target views, we constrain the rendered colors and depths from different input
views to be the same. Although simple, extensive experiments demonstrate that
our proposed method can achieve better synthesis quality over state-of-the-art
methods.
- Abstract（参考訳）: NeRF(Neural Radiance Field)は、特にVR(Virtual Reality)とAR(Augmented Reality)において、シーンを連続的に表現する能力によって、新しいビュー合成において印象的な結果を示している。
しかし、少数の入力ビューイメージが利用可能である場合、NeRFは与えられたビューに過度に適合し、推定されたピクセルの深さがほぼ同じ値を共有する傾向にある。
複雑な事前処理や追加の監督を導入して正規化を行う従来の手法とは異なり,この課題に対処するために,入力ビュー間の奥行き認識の整合性を明確に構築するシンプルな手法を提案する。
我々の重要な洞察は、同じ空間的点を異なる入力ビューで繰り返しサンプリングすることで、ビュー間の相互作用を強化し、過度に適合する問題を軽減できるということである。
これを実現するために、階層表現(多面画像)の上にニューラルネットワークを構築し、サンプリングポイントを複数の離散平面上で再サンプリングすることができる。
さらに、未確認のターゲットビューを正規化するために、異なる入力ビューからレンダリングされた色や深さを同じに制限する。
単純かつ広範な実験により,提案手法は最先端の手法よりも優れた合成品質が得られることを示した。
関連論文リスト
- Sampling for View Synthesis: From Local Light Field Fusion to Neural Radiance Fields and Beyond [27.339452004523082]
局所光電場融合は、サンプルビューの不規則なグリッドから現実的なビュー合成を行うアルゴリズムを提案する。
我々は、最大4000倍のビューを用いて、Nyquistレートビューサンプリングの知覚品質を実現する。
スパースおよび単一画像ビュー合成に関する最近の研究結果のいくつかを再現する。
論文 参考訳（メタデータ） (2024-08-08T16:56:03Z) - MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。
以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-06-26T17:53:51Z) - Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。
具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。
本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
論文 参考訳（メタデータ） (2023-05-24T14:00:32Z) - Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。
スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。
対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-04-17T17:40:52Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳（メタデータ） (2022-07-12T17:52:04Z) - Generalizable Neural Radiance Fields for Novel View Synthesis with
Transformer [23.228142134527292]
本研究では,Transformer-based NeRF (TransNeRF) を用いて,観測画像に基づく汎用的ニューラルラディアンス場を学習する。
さまざまなシーンでトレーニングされたTransNeRFは、最先端の画像ベースのニューラルネットワークレンダリング手法と比較して、パフォーマンスが向上することを示した。
論文 参考訳（メタデータ） (2022-06-10T23:16:43Z) - Remote Sensing Novel View Synthesis with Implicit Multiplane
Representations [26.33490094119609]
暗黙的ニューラル表現の最近の進歩を活用して,新しいリモートセンシングビュー合成法を提案する。
リモートセンシング画像のオーバーヘッドと遠距離イメージングを考慮し,暗黙のマルチプレーン画像(MPI)表現とディープニューラルネットワークを組み合わせることで,3次元空間を表現する。
任意の新規ビューの画像は、再構成されたモデルに基づいて自由にレンダリングすることができる。
論文 参考訳（メタデータ） (2022-05-18T13:03:55Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳（メタデータ） (2021-12-31T11:56:01Z) - Human View Synthesis using a Single Sparse RGB-D Input [16.764379184593256]
本稿では,RGB-Dが疎い単一ビューセンサから取得した映像からリアルなレンダリングを生成するための,新しいビュー合成フレームワークを提案する。
エンハンサーネットワークは、元のビューから隠された領域でも全体の忠実さを活用し、細部まで細部までクリップレンダリングを生成する。
論文 参考訳（メタデータ） (2021-12-27T20:13:53Z) - Self-Supervised Visibility Learning for Novel View Synthesis [79.53158728483375]
従来のレンダリング方法はシーン形状を推定し、2つの別々のステップで新しいビューを合成します。
エラー伝搬問題を排除するために,エンドツーエンドのNVSフレームワークを提案する。
当社のネットワークはエンドツーエンドのセルフ監視方式でトレーニングされており、ビュー合成におけるエラーの蓄積を大幅に軽減します。
論文 参考訳（メタデータ） (2021-03-29T08:11:25Z) - NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
本稿では,複雑なシーンの新たなビューを合成する手法を提案する。
提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。
ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
論文 参考訳（メタデータ） (2020-03-19T17:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。