論文の概要: ColNeRF: Collaboration for Generalizable Sparse Input Neural Radiance Field

• arxiv url: http://arxiv.org/abs/2312.09095v2
• Date: Fri, 15 Dec 2023 02:03:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 12:36:36.121610
• Title: ColNeRF: Collaboration for Generalizable Sparse Input Neural Radiance Field
• Title（参考訳）: ColNeRF: 一般化可能なスパース入力ニューラルラジアンス場のためのコラボレーション
• Authors: Zhangkai Ni, Peiqi Yang, Wenhan Yang, Hanli Wang, Lin Ma, Sam Kwong
• Abstract要約: Collaborative Neural Radiance Fields (ColNeRF) はスパース入力で動作するように設計されている。 ColNeRFはよりリッチでより一般化されたシーン表現をキャプチャできる。 我々のアプローチは、新しい場面に適応するための微調整において優位性を示す。
• 参考スコア（独自算出の注目度）: 89.54363625953044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) have demonstrated impressive potential in synthesizing novel views from dense input, however, their effectiveness is challenged when dealing with sparse input. Existing approaches that incorporate additional depth or semantic supervision can alleviate this issue to an extent. However, the process of supervision collection is not only costly but also potentially inaccurate, leading to poor performance and generalization ability in diverse scenarios. In our work, we introduce a novel model: the Collaborative Neural Radiance Fields (ColNeRF) designed to work with sparse input. The collaboration in ColNeRF includes both the cooperation between sparse input images and the cooperation between the output of the neural radiation field. Through this, we construct a novel collaborative module that aligns information from various views and meanwhile imposes self-supervised constraints to ensure multi-view consistency in both geometry and appearance. A Collaborative Cross-View Volume Integration module (CCVI) is proposed to capture complex occlusions and implicitly infer the spatial location of objects. Moreover, we introduce self-supervision of target rays projected in multiple directions to ensure geometric and color consistency in adjacent regions. Benefiting from the collaboration at the input and output ends, ColNeRF is capable of capturing richer and more generalized scene representation, thereby facilitating higher-quality results of the novel view synthesis. Extensive experiments demonstrate that ColNeRF outperforms state-of-the-art sparse input generalizable NeRF methods. Furthermore, our approach exhibits superiority in fine-tuning towards adapting to new scenes, achieving competitive performance compared to per-scene optimized NeRF-based methods while significantly reducing computational costs. Our code is available at: https://github.com/eezkni/ColNeRF.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、高密度入力から新しいビューを合成する素晴らしい可能性を示しているが、その効果はスパース入力を扱う際には困難である。 追加の深みや意味的な監督を含む既存のアプローチは、この問題をある程度緩和することができる。 しかし、監視収集のプロセスはコストがかかるだけでなく、潜在的に不正確であり、様々なシナリオにおけるパフォーマンスと一般化能力の低下につながる。 本研究では,スパース入力で動作するように設計されたColNeRF(Collaborative Neural Radiance Fields)という新しいモデルを紹介する。 ColNeRFにおける協調には、スパース入力画像間の協調と、神経放射場の出力間の協調の両方が含まれる。 そこで我々は,様々な視点からの情報の整合化と,幾何学的・外観的整合性を確保するための自己監督的制約を課する,新しい協調モジュールを構築した。 複雑な咬合を捉え、暗黙的に物体の空間的位置を推測するために、ccvi(collaborative cross-view volume integration module)が提案されている。 さらに、隣接領域における幾何的および色調の整合性を確保するため、複数の方向を投影する目標線を自己監督する。 ColNeRFは、入力および出力終了時の協調によって、よりリッチでより一般化されたシーン表現をキャプチャし、新しいビュー合成の高品質な結果を容易にする。 大規模な実験により、ColNeRFは最先端のスパース入力一般化可能なNeRF法より優れていた。 さらに,本手法は,計算コストを著しく削減しつつ,シーンごとの最適化したnrf法と比較して,新たなシーンへの適応に向けた微調整において優れた性能を示す。 私たちのコードは、https://github.com/eezkni/ColNeRF.comで利用可能です。

関連論文リスト

• SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
  FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。 新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。 モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
  論文  参考訳（メタデータ） (2024-04-01T08:37:57Z)
• CombiNeRF: A Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis [1.374796982212312]
  ニューラル・ラジアンス・フィールド(NeRF)は、十分に多くのビューが利用可能である場合に、新しいビュー合成のための印象的な結果を示す。 本稿では,複数の正規化手法を相乗的に組み合わせたCombiNeRFを提案する。 CombiNeRFは、いくつかの公開データセットにおいて、数ショット設定で最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:59:00Z)
• CMC: Few-shot Novel View Synthesis via Cross-view Multiplane Consistency [18.101763989542828]
  本稿では,入力ビュー間の奥行き認識一貫性を明確かつ効果的に構築する手法を提案する。 我々の重要な洞察は、同じ空間点を異なる入力ビューで繰り返しサンプリングすることで、ビュー間の相互作用を強化することができるということである。 単純かつ広範な実験により,提案手法は最先端の手法よりも優れた合成品質が得られることを示した。
  論文  参考訳（メタデータ） (2024-02-26T09:04:04Z)
• Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering [3.8200916793910973]
  ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。 しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。 本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T08:34:49Z)
• Grid-guided Neural Radiance Fields for Large Urban Scenes [146.06368329445857]
  近年のアプローチでは、シーンを地理的に分割し、複数のサブNeRFを採用して各領域を個別にモデル化する手法が提案されている。 もう一つの解決策は、計算効率が良く、大きなシーンに自然にスケールできる機能グリッド表現を使用することである。 本稿では,大規模都市における高忠実度レンダリングを実現し,計算効率を向上する枠組みを提案する。
  論文  参考訳（メタデータ） (2023-03-24T13:56:45Z)
• IntrinsicNGP: Intrinsic Coordinate based Hash Encoding for Human NeRF [27.660829835903424]
  IntrinsicNGPを提案する。これは人間のパフォーマーのビデオを用いて、スクラッチからトレーニングし、数分で高忠実度を達成できる。 Instant-NGPのハッシュ符号化モジュールにおいて、元の明示的なユークリッド座標ではなく、連続的に最適化可能な固有座標を導入する。 この新しい固有座標により、IntrinsicNGPはプロキシ幾何学形状の助けを借りて動的オブジェクトのフレーム間情報を集約することができる。
  論文  参考訳（メタデータ） (2023-02-28T15:51:19Z)
• IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable Novel View Synthesis [90.03590032170169]
  内在性ニューラルレンダリング法に内在性分解を導入した内在性ニューラルレイディアンス場(IntrinsicNeRF)を提案する。 そこで,本研究では,オブジェクト固有・ルームスケールシーンと合成・実単語データの両方を用いて,一貫した本質的な分解結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-02T22:45:11Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。