論文の概要: Finding Waldo: Towards Efficient Exploration of NeRF Scene Spaces

• arxiv url: http://arxiv.org/abs/2403.04508v2
• Date: Fri, 8 Mar 2024 10:34:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 10:40:44.850555
• Title: Finding Waldo: Towards Efficient Exploration of NeRF Scene Spaces
• Title（参考訳）: waldoの発見:nyrfシーン空間の効率的な探索に向けて
• Authors: Evangelos Skartados, Mehmet Kerim Yucel, Bruno Manganelli, Anastasios Drosou, Albert Sa\`a-Garriga
• Abstract要約: 我々は,NeRFモデル入力の効率的な発見として,シーン探索フレームワークを提案し,正式に定義する。 シーン探索に対処するアプローチの欠如を解決するため,まず誘導ランダム探索 (GRS) と詩補間探索 (PIBS) という2つのベースライン手法を提案する。 そこで我々は,シーン探索を最適化問題としてキャストし,探索のための基準に依存しない進化誘導ポッドサーチ(EGPS)を提案する。
• 参考スコア（独自算出の注目度）: 4.944459754818577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) have quickly become the primary approach for 3D reconstruction and novel view synthesis in recent years due to their remarkable performance. Despite the huge interest in NeRF methods, a practical use case of NeRFs has largely been ignored; the exploration of the scene space modelled by a NeRF. In this paper, for the first time in the literature, we propose and formally define the scene exploration framework as the efficient discovery of NeRF model inputs (i.e. coordinates and viewing angles), using which one can render novel views that adhere to user-selected criteria. To remedy the lack of approaches addressing scene exploration, we first propose two baseline methods called Guided-Random Search (GRS) and Pose Interpolation-based Search (PIBS). We then cast scene exploration as an optimization problem, and propose the criteria-agnostic Evolution-Guided Pose Search (EGPS) for efficient exploration. We test all three approaches with various criteria (e.g. saliency maximization, image quality maximization, photo-composition quality improvement) and show that our EGPS performs more favourably than other baselines. We finally highlight key points and limitations, and outline directions for future research in scene exploration.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は,近年,その顕著な性能から3次元再構成と新しいビュー・シンセサイザーの主要なアプローチとなっている。 NeRF法への大きな関心にもかかわらず、NeRFの実用的なユースケースは無視されており、NeRFをモデルとしたシーン空間の探索が行なわれている。 本稿では,本論文で初めて,ユーザの選択した基準に準拠した新しいビューを描画できる,NeRFモデル入力(座標と視角)の効率的な発見として,シーン探索フレームワークを提案し,正式に定義する。 シーン探索に対処するアプローチの欠如を解消するため,まず誘導ランダム探索 (GRS) と擬似補間探索 (PIBS) という2つのベースライン手法を提案する。 そこで我々は,シーン探索を最適化問題としてキャストし,効率的な探索のための基準に依存しない進化誘導ポーズ探索(EGPS)を提案する。 様々な基準(例えば、サリエンシの最大化、画質の最大化、光合成品質の改善)で3つのアプローチを試験し、EGPSが他のベースラインよりも好適であることを示す。 最終的に重要なポイントと限界を強調し、今後の現場探査研究の方向性を概説する。

関連論文リスト

• SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization [16.460851701725392]
  本稿では,外乱ポーズの影響を軽減するため,シーングラフを用いた放射場最適化手法を提案する。 本手法では,シーングラフに基づく適応型不整合・不整合信頼度推定手法を取り入れた。 また、カメラのポーズと表面形状を最適化するために、効果的な交叉結合(IoU)損失を導入する。
  論文  参考訳（メタデータ） (2024-07-17T15:50:17Z)
• ProvNeRF: Modeling per Point Provenance in NeRFs as a Stochastic Field [52.09661042881063]
  テキストフィールドとしてNeRFのbfprovenance(可視な位置)をモデル化する手法を提案する。 我々は、NeRF最適化におけるポイントごとの精度のモデリングにより、新しいビュー合成と不確実性推定の改善につながる情報により、モデルが強化されることを示す。
  論文  参考訳（メタデータ） (2024-01-16T06:19:18Z)
• NeRF-Enhanced Outpainting for Faithful Field-of-View Extrapolation [18.682430719467202]
  ロボットナビゲーションや遠隔視覚支援などの様々な応用において、カメラの視野(FOV)を拡大することは、環境認識を高めるのに有用である。 我々は、シーンの事前知識として、事前キャプチャされた画像の集合を利用する忠実なFOV外挿の新たな問題を定式化する。 我々は,NeRFにより生成された拡張FOV画像を用いて,シーン固有のアウトペイントモデルをトレーニングするNeRF拡張アウトペイント(NEO)を提案する。
  論文  参考訳（メタデータ） (2023-09-23T03:16:58Z)
• SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates [16.344734292989504]
  SCADEは、スパースで制約のない入力ビューにおけるNeRF再構成品質を改善する新しい技術である。 本研究では,各視点に対して,深度推定の連続的マルチモーダル分布を予測する新しい手法を提案する。 実験により,本手法はスパースビューから高忠実度ノベルビューの合成を可能にすることが示された。
  論文  参考訳（メタデータ） (2023-03-23T18:00:07Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Enhancement of Novel View Synthesis Using Omnidirectional Image Completion [61.78187618370681]
  ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
  論文  参考訳（メタデータ） (2022-03-18T13:49:25Z)
• GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
  gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。 提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
  論文  参考訳（メタデータ） (2021-03-29T13:36:38Z)
• Novelty Search in Representational Space for Sample Efficient Exploration [38.2027946450689]
  本稿では,モデルベースとモデルフリーを併用して学習した環境の低次元符号化を利用する,効率的な探索手法を提案する。 提案手法では,低次元表現空間における近接する近傍の距離に基づく固有報酬を用いて,新規性を測る。 次に、これらの本質的な報酬をサンプル効率の高い探索に利用し、表現空間における計画ルーチンを、疎度な報酬を伴うハードな探索タスクに活用する。
  論文  参考訳（メタデータ） (2020-09-28T18:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。