論文の概要: ViewNeRF: Unsupervised Viewpoint Estimation Using Category-Level Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2212.00436v1
• Date: Thu, 1 Dec 2022 11:16:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 16:24:23.587698
• Title: ViewNeRF: Unsupervised Viewpoint Estimation Using Category-Level Neural Radiance Fields
• Title（参考訳）: ViewNeRF:カテゴリーレベルニューラルネットワークを用いた教師なし視点推定
• Authors: Octave Mariotti, Oisin Mac Aodha and Hakan Bilen
• Abstract要約: ニューラルラジアンス場に基づく視点推定法であるViewNeRFを導入する。 提案手法は,条件付きNeRFと視点予測器とシーンエンコーダを組み合わせた合成手法を用いて解析を行う。 本モデルでは,合成データセットと実データセットの競合結果を示す。
• 参考スコア（独自算出の注目度）: 35.89557494372891
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce ViewNeRF, a Neural Radiance Field-based viewpoint estimation method that learns to predict category-level viewpoints directly from images during training. While NeRF is usually trained with ground-truth camera poses, multiple extensions have been proposed to reduce the need for this expensive supervision. Nonetheless, most of these methods still struggle in complex settings with large camera movements, and are restricted to single scenes, i.e. they cannot be trained on a collection of scenes depicting the same object category. To address these issues, our method uses an analysis by synthesis approach, combining a conditional NeRF with a viewpoint predictor and a scene encoder in order to produce self-supervised reconstructions for whole object categories. Rather than focusing on high fidelity reconstruction, we target efficient and accurate viewpoint prediction in complex scenarios, e.g. 360{\deg} rotation on real data. Our model shows competitive results on synthetic and real datasets, both for single scenes and multi-instance collections.
• Abstract（参考訳）: 本研究では,学習中の画像から直接カテゴリレベルの視点を予測できるニューラルラミアンスフィールドに基づく視点推定手法viewnerfを提案する。 通常、NeRFは地上カメラのポーズで訓練されるが、この高価な監視の必要性を減らすために複数の拡張が提案されている。 とはいえ、これらの手法のほとんどは依然として大きなカメラの動きを伴う複雑な設定で苦労しており、単一のシーンに限定されている。 これらの問題に対処するために,条件付きNeRFと視点予測器とシーンエンコーダを組み合わせた合成手法を用いて,オブジェクトカテゴリ全体の自己教師型再構築を行う。 高忠実度再構成に注目するのではなく,実データ上での360{\deg}回転など,複雑なシナリオにおける効率的かつ正確な視点予測を目標としている。 本モデルでは, 合成および実データに対して, シングルシーンとマルチインスタンスコレクションの両方において, 競合する結果を示す。

関連論文リスト

• Strata-NeRF : Neural Radiance Fields for Stratified Scenes [29.58305675148781]
  現実の世界では、複数のレベルでシーンをキャプチャし、レイヤー化されたキャプチャをもたらすかもしれません。 複数レベルのシーンを暗黙的にキャプチャする単一神経放射場であるStrata-NeRFを提案する。 Strata-NeRFは階層化されたシーンを効果的に捉え、アーティファクトを最小化し、高忠実度ビューを合成する。
  論文  参考訳（メタデータ） (2023-08-20T18:45:43Z)
• ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
  本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-03T13:24:06Z)
• A Large-Scale Outdoor Multi-modal Dataset and Benchmark for Novel View Synthesis and Implicit Scene Reconstruction [26.122654478946227]
  ニューラル・ラジアンス・フィールズ(NeRF)は、単一物体のシーン再構成と新しいビュー合成において印象的な成果を上げている。 高価なデータ取得と校正コストのため、大規模なNeRF評価のための統一された屋外シーンデータセットは存在しない。 本稿では,大規模な屋外マルチモーダルデータセットであるOMMOデータセットを提案する。
  論文  参考訳（メタデータ） (2023-01-17T10:15:32Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• im2nerf: Image to Neural Radiance Field in the Wild [47.18702901448768]
  im2nerfは、野生の1つの入力イメージが与えられた連続的な神経オブジェクト表現を予測する学習フレームワークである。 Im2nerfは、野生の単視未表示画像から新しいビューを合成するための最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-09-08T23:28:56Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
  本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。 提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
  論文  参考訳（メタデータ） (2022-02-24T01:31:29Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。