論文の概要: AltNeRF: Learning Robust Neural Radiance Field via Alternating Depth-Pose Optimization

• arxiv url: http://arxiv.org/abs/2308.10001v1
• Date: Sat, 19 Aug 2023 12:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 18:29:37.670616
• Title: AltNeRF: Learning Robust Neural Radiance Field via Alternating Depth-Pose Optimization
• Title（参考訳）: AltNeRF: 逐次奥行き最適化によるロバストニューラルネットワークの学習
• Authors: Kun Wang, Zhiqiang Yan, Huang Tian, Zhenyu Zhang, Xiang Li, Jun Li and Jian Yang
• Abstract要約: 単眼ビデオからの自己教師付き単眼深度推定(SMDE)を用いて、回復力のあるNeRF表現を作成するための新しいフレームワークAltNeRFを提案する。 我々は,NeRF出力をコンデンス駆動機構によりSMDEに調和的に溶接する交互アルゴリズムを導入し,深度事前の整合性を高める。 大規模な実験では、AltNeRFが現実によく似た高忠実で堅牢な新奇な視点を創出する能力を示している。
• 参考スコア（独自算出の注目度）: 25.44715538841181
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural Radiance Fields (NeRF) have shown promise in generating realistic novel views from sparse scene images. However, existing NeRF approaches often encounter challenges due to the lack of explicit 3D supervision and imprecise camera poses, resulting in suboptimal outcomes. To tackle these issues, we propose AltNeRF -- a novel framework designed to create resilient NeRF representations using self-supervised monocular depth estimation (SMDE) from monocular videos, without relying on known camera poses. SMDE in AltNeRF masterfully learns depth and pose priors to regulate NeRF training. The depth prior enriches NeRF's capacity for precise scene geometry depiction, while the pose prior provides a robust starting point for subsequent pose refinement. Moreover, we introduce an alternating algorithm that harmoniously melds NeRF outputs into SMDE through a consistence-driven mechanism, thus enhancing the integrity of depth priors. This alternation empowers AltNeRF to progressively refine NeRF representations, yielding the synthesis of realistic novel views. Additionally, we curate a distinctive dataset comprising indoor videos captured via mobile devices. Extensive experiments showcase the compelling capabilities of AltNeRF in generating high-fidelity and robust novel views that closely resemble reality.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、スパースシーン画像からリアルな新しいビューを生成することを約束している。 しかし、既存のNeRFアプローチは、明示的な3D監督と不正確なカメラのポーズが欠如しているため、しばしば課題に直面する。 これらの課題に対処するために,モノクラービデオから自己教師付きモノクラー深度推定(SMDE)を用いて、既知のカメラのポーズに頼ることなく、レジリエントなNeRF表現を作成するための新しいフレームワークAltNeRFを提案する。 AltNeRFのSMDEは、NeRFトレーニングを調整するために、奥行きを熟知し、前もってポーズをとる。 奥行きはnerfの正確なシーン幾何描写能力を高める一方、ポーズ先行は後のポーズ洗練のための堅牢な出発点となる。 さらに,NeRF出力をコンデンス駆動機構によりSMDEに調和的に溶接し,深度事前の整合性を向上する交互アルゴリズムを提案する。 この交互化によりAltNeRFはNeRF表現を徐々に洗練させ、現実的な新規なビューを合成する。 さらに,モバイル端末で撮影した屋内ビデオを含む特徴的データセットをキュレートする。 大規模な実験では、AltNeRFが現実によく似た高忠実で堅牢な新奇な視点を生み出す能力を示している。

関連論文リスト

• SSNeRF: Sparse View Semi-supervised Neural Radiance Fields with Augmentation [21.454340647455236]
  SSNeRF(SSNeRF)は、教師の枠組みに基づくスパースビュー半教師付きNeRF法である。 私たちのキーとなるアイデアは、徐々に厳しい視界劣化を伴うNeRFモジュールに挑戦することです。 提案手法では,教師のNeRFは信頼度スコアとともに新規な視点を生成し,学生のNeRFは信頼度の高い擬似ラベルから学習する。
  論文  参考訳（メタデータ） (2024-08-17T09:00:37Z)
• Self-Evolving Neural Radiance Fields [31.124406548504794]
  我々は、自己学習フレームワークを神経放射場(NeRF)に適用する、SE-NeRF(Self-Evolving Neural Radiance Fields)と呼ばれる新しいフレームワークを提案する。 数発のNeRFを教師向けフレームワークに定式化し、ネットワークを誘導し、より堅牢なシーン表現を学習する。 既存のモデルに自己学習フレームワークを適用することで、レンダリング画像の品質が向上し、複数の設定で最先端のパフォーマンスが達成できることを示し、評価する。
  論文  参考訳（メタデータ） (2023-12-02T02:28:07Z)
• From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
  我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。 また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。 NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
  論文  参考訳（メタデータ） (2023-06-10T09:19:19Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields [56.30120727729177]
  DehazeNeRFは,湿潤な環境下で頑健に動作するフレームワークとして紹介する。 提案手法は,複数視点のヘイズ除去,新しいビュー合成,既存手法が失敗する3次元形状再構成を成功させるものである。
  論文  参考訳（メタデータ） (2023-03-20T18:03:32Z)
• NeRFLiX: High-Quality Neural View Synthesis by Learning a Degradation-Driven Inter-viewpoint MiXer [44.220611552133036]
  我々は、分解駆動の視点間ミキサーを学習し、NeRFLiXを提案する。 また,高度に関連した高品質な訓練画像の融合が可能な視点間集約フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T08:36:30Z)
• Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
  入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。 各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。 これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
  論文  参考訳（メタデータ） (2023-03-10T08:22:36Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
  不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。 BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。 これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
  論文  参考訳（メタデータ） (2021-04-13T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。