論文の概要: NeRF-Enhanced Outpainting for Faithful Field-of-View Extrapolation

• arxiv url: http://arxiv.org/abs/2309.13240v1
• Date: Sat, 23 Sep 2023 03:16:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 21:12:32.474436
• Title: NeRF-Enhanced Outpainting for Faithful Field-of-View Extrapolation
• Title（参考訳）: ファイントフル視野外挿のためのNeRF強化露光
• Authors: Rui Yu, Jiachen Liu, Zihan Zhou, Sharon X. Huang
• Abstract要約: ロボットナビゲーションや遠隔視覚支援などの様々な応用において、カメラの視野(FOV)を拡大することは、環境認識を高めるのに有用である。 我々は、シーンの事前知識として、事前キャプチャされた画像の集合を利用する忠実なFOV外挿の新たな問題を定式化する。 我々は,NeRFにより生成された拡張FOV画像を用いて,シーン固有のアウトペイントモデルをトレーニングするNeRF拡張アウトペイント(NEO)を提案する。
• 参考スコア（独自算出の注目度）: 18.682430719467202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In various applications, such as robotic navigation and remote visual assistance, expanding the field of view (FOV) of the camera proves beneficial for enhancing environmental perception. Unlike image outpainting techniques aimed solely at generating aesthetically pleasing visuals, these applications demand an extended view that faithfully represents the scene. To achieve this, we formulate a new problem of faithful FOV extrapolation that utilizes a set of pre-captured images as prior knowledge of the scene. To address this problem, we present a simple yet effective solution called NeRF-Enhanced Outpainting (NEO) that uses extended-FOV images generated through NeRF to train a scene-specific image outpainting model. To assess the performance of NEO, we conduct comprehensive evaluations on three photorealistic datasets and one real-world dataset. Extensive experiments on the benchmark datasets showcase the robustness and potential of our method in addressing this challenge. We believe our work lays a strong foundation for future exploration within the research community.
• Abstract（参考訳）: ロボットナビゲーションや遠隔視覚支援などの様々な応用において、カメラの視野(FOV)を拡大することは環境認識を高めるのに有用である。 美学的に心地よい視覚を作り出すことだけを目的としている画像よりも、これらのアプリケーションはシーンを忠実に表現する拡張ビューを要求する。 そこで本研究では,シーンの事前知識として,事前取得した画像の集合を利用した忠実なFOV外挿の新たな問題を定式化する。 この問題に対処するために,NeRFにより生成された拡張FOV画像を用いてシーン固有の画像出力モデルをトレーニングする,NeRF拡張アウトペイント(NEO)というシンプルなソリューションを提案する。 NEOの性能を評価するため、3つのフォトリアリスティックデータセットと1つの実世界のデータセットを総合的に評価する。 ベンチマークデータセットに対する大規模な実験は、この課題に対処する上での我々の手法の堅牢性と可能性を示している。 我々は,我々の研究が今後の研究コミュニティの基盤となると信じている。

関連論文リスト

• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• MSI-NeRF: Linking Omni-Depth with View Synthesis through Multi-Sphere Image aided Generalizable Neural Radiance Field [1.3162012586770577]
  深層学習全方位深度推定と新しいビュー合成を組み合わせたMSI-NeRFを提案する。 入力画像の特徴抽出とワープにより,コストボリュームとして多面体画像を構築する。 ネットワークには,4つの画像のみを用いて未知のシーンを効率的に再構築する一般化機能がある。
  論文  参考訳（メタデータ） (2024-03-16T07:26:50Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• PANeRF: Pseudo-view Augmentation for Improved Neural Radiance Fields Based on Few-shot Inputs [3.818285175392197]
  神経放射場(NeRF)は複雑なシーンの新しいビューに有望な応用がある。 NeRFは、高品質な画像を生成するために、数百の数字の高密度な入力ビューを必要とする。 少ショット入力の幾何を考慮した十分な量のデータ拡張方式であるNeRFの擬似ビュー拡張を提案する。
  論文  参考訳（メタデータ） (2022-11-23T08:01:10Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。