論文の概要: A self-supervised cyclic neural-analytic approach for novel view synthesis and 3D reconstruction

• arxiv url: http://arxiv.org/abs/2503.03543v1
• Date: Wed, 05 Mar 2025 14:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:51:59.988827
• Title: A self-supervised cyclic neural-analytic approach for novel view synthesis and 3D reconstruction
• Title（参考訳）: 自己教師型サイクリック・ニューラル・アナリシスによる新しいビュー合成と3次元再構成
• Authors: Dragos Costea, Alina Marcu, Marius Leordeanu,
• Abstract要約: 本稿では、高品質なニューラルネットワークレンダリング出力と分析手法からの正確な幾何学的洞察を組み合わせた自己教師付き循環型ニューラルネットワークパイプラインを提案する。 我々のソリューションは、新しいビュー合成のためのRGBとメッシュ再構成を改善し、特にトレーニングデータセットとは全く異なるアンサンプされた領域や領域で改善する。 以上の結果から,新規な3次元画像のレンダリングや3次元画像の再構成が大幅に向上していることが示唆された。
• 参考スコア（独自算出の注目度）: 11.558827428811385
• License:
• Abstract: Generating novel views from recorded videos is crucial for enabling autonomous UAV navigation. Recent advancements in neural rendering have facilitated the rapid development of methods capable of rendering new trajectories. However, these methods often fail to generalize well to regions far from the training data without an optimized flight path, leading to suboptimal reconstructions. We propose a self-supervised cyclic neural-analytic pipeline that combines high-quality neural rendering outputs with precise geometric insights from analytical methods. Our solution improves RGB and mesh reconstructions for novel view synthesis, especially in undersampled areas and regions that are completely different from the training dataset. We use an effective transformer-based architecture for image reconstruction to refine and adapt the synthesis process, enabling effective handling of novel, unseen poses without relying on extensive labeled datasets. Our findings demonstrate substantial improvements in rendering views of novel and also 3D reconstruction, which to the best of our knowledge is a first, setting a new standard for autonomous navigation in complex outdoor environments.
• Abstract（参考訳）: 記録されたビデオから新しいビューを生成することは、自律的なUAVナビゲーションを可能にするために不可欠である。 ニューラルレンダリングの最近の進歩は、新しい軌跡を描画できる手法の迅速な開発を促進する。 しかし、これらの手法は、最適化された飛行経路を使わずに訓練データから遠く離れた領域にうまく一般化することができず、準最適再建に繋がることが多い。 本稿では,高品質なニューラルレンダリング出力と解析手法からの正確な幾何学的洞察を組み合わせた自己教師付きサイクリックニューラルネットワークパイプラインを提案する。 我々のソリューションは、新しいビュー合成のためのRGBとメッシュ再構成を改善し、特にトレーニングデータセットとは全く異なるアンサンプされた領域や領域で改善する。 我々は、画像再構成に効果的なトランスフォーマーベースのアーキテクチャを用いて、合成プロセスの洗練と適応を実現し、広範囲なラベル付きデータセットに頼ることなく、新規で見えないポーズを効果的に扱えるようにする。 以上の結果から, 複雑な屋外環境下での自律ナビゲーションの新たな標準として, 新規な3次元再構成や3次元表示のレンダリングの精度が向上していることが示唆された。

関連論文リスト

• Evaluating Modern Approaches in 3D Scene Reconstruction: NeRF vs Gaussian-Based Methods [4.6836510920448715]
  本研究では,3次元シーン再構成におけるニューラルレージアン場(NeRF)とガウス法(Gaussian-based method)の機能について検討する。 我々は,追跡精度,マッピング忠実度,ビュー合成に基づく性能評価を行った。 発見によると、NeRFはビュー合成に優れており、既存のデータから新しい視点を生成するユニークな機能を提供する。
  論文  参考訳（メタデータ） (2024-08-08T07:11:57Z)
• SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization [7.769607568805291]
  そこで本研究では,数枚のカラー画像から3次元形状とビュー依存の外観を復元する新しい手法を提案する。 本手法は,信号距離関数 (Signed Distance Function, SDF) と放射場 (Radiance Field) の形式で暗黙的なニューラル表現を学習する。 我々の貢献の鍵は、SDFフィールドがレベルセットの近くでできるだけ直線的であることを奨励する、暗黙の神経形状関数学習戦略である。
  論文  参考訳（メタデータ） (2024-07-19T12:36:36Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis [73.50359502037232]
  VoxNeRFは、ニューラル室内再構成と新しいビュー合成の質と効率を高めるための新しいアプローチである。 本稿では,最も関連性の高い領域に計算資源を割り当てる効率的なボクセル誘導サンプリング手法を提案する。 私たちのアプローチは、ScanNetとScanNet++に関する広範な実験で検証されています。
  論文  参考訳（メタデータ） (2023-11-09T11:32:49Z)
• CryoFormer: Continuous Heterogeneous Cryo-EM Reconstruction using Transformer-based Neural Representations [49.49939711956354]
  核電子顕微鏡(cryo-EM)は、タンパク質やその他の生体分子の3D構造を高分解能で再構築することを可能にする。 3次元構造の連続的な動きをノイズやランダムに配向した2次元Creo-EM画像から再構成することは依然として困難である。 我々はCryoFormerを提案する。CryoFormerは連続したヘテロジニアスCryo-EM再構成のための新しいアプローチである。
  論文  参考訳（メタデータ） (2023-03-28T18:59:17Z)
• VolRecon: Volume Rendering of Signed Ray Distance Functions for Generalizable Multi-View Reconstruction [64.09702079593372]
  VolRecon は Signed Ray Distance Function (SRDF) を用いた新しい一般化可能な暗黙的再構成法である DTUデータセットでは、VolReconはスパースビュー再構築においてSparseNeuSを約30%上回り、フルビュー再構築においてMVSNetと同等の精度を達成する。
  論文  参考訳（メタデータ） (2022-12-15T18:59:54Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。