論文の概要: Flow-NeRF: Joint Learning of Geometry, Poses, and Dense Flow within Unified Neural Representations

• arxiv url: http://arxiv.org/abs/2503.10464v1
• Date: Thu, 13 Mar 2025 15:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:52:38.719708
• Title: Flow-NeRF: Joint Learning of Geometry, Poses, and Dense Flow within Unified Neural Representations
• Title（参考訳）: Flow-NeRF: 統一型ニューラル表現における幾何, ポス, 高密度流れの連成学習
• Authors: Xunzhi Zheng, Dan Xu,
• Abstract要約: Flow-NeRFは、シーン幾何学、カメラポーズ、高密度光フローを同時に最適化する統合フレームワークである。 我々は,世界空間表現に標準空間特徴を渡す効果的な機能拡張機構を開発する。 提案手法は,新しいビュービューの合成と深度推定のためのほぼすべての指標において,従来の手法を超越した手法である。
• 参考スコア（独自算出の注目度）: 8.932991182772092
• License:
• Abstract: Learning accurate scene reconstruction without pose priors in neural radiance fields is challenging due to inherent geometric ambiguity. Recent development either relies on correspondence priors for regularization or uses off-the-shelf flow estimators to derive analytical poses. However, the potential for jointly learning scene geometry, camera poses, and dense flow within a unified neural representation remains largely unexplored. In this paper, we present Flow-NeRF, a unified framework that simultaneously optimizes scene geometry, camera poses, and dense optical flow all on-the-fly. To enable the learning of dense flow within the neural radiance field, we design and build a bijective mapping for flow estimation, conditioned on pose. To make the scene reconstruction benefit from the flow estimation, we develop an effective feature enhancement mechanism to pass canonical space features to world space representations, significantly enhancing scene geometry. We validate our model across four important tasks, i.e., novel view synthesis, depth estimation, camera pose prediction, and dense optical flow estimation, using several datasets. Our approach surpasses previous methods in almost all metrics for novel-view view synthesis and depth estimation and yields both qualitatively sound and quantitatively accurate novel-view flow. Our project page is https://zhengxunzhi.github.io/flownerf/.
• Abstract（参考訳）: ニューラルラディアンスフィールドにおけるポーズ前兆のない正確なシーン再構築は、固有の幾何学的曖昧さのために困難である。 最近の開発は、正規化に先行する対応に依存するか、分析的なポーズを導出するためにオフザシェルフフロー推定器を使用するかのいずれかである。 しかし、シーンの幾何学、カメラのポーズ、統合されたニューラル表現内の密集した流れを共同で学習する可能性はほとんど未解明のままである。 本稿では,シーン形状,カメラポーズ,高密度光フローを同時に最適化する統合フレームワークであるFlow-NeRFを提案する。 ニューラルラディアンス場内での密流の学習を可能にするため,ポーズに条件付けされたフロー推定のための単射マッピングを設計・構築する。 フロー推定によるシーン再構成の利点を生かし,標準的な空間特徴を世界空間表現に渡す効果的な機能拡張機構を開発し,シーン形状を著しく向上させる。 いくつかのデータセットを用いて、新しいビュー合成、深さ推定、カメラポーズ予測、高密度光フロー推定という4つの重要なタスクにまたがってモデルを検証した。 提案手法は,新規視点合成と深度推定のほぼすべての指標において従来の手法を超越し,定性的に健全かつ定量的に新規視点流を導出する。 私たちのプロジェクトページはhttps://zhengxunzhi.github.io/flownerf/です。

関連論文リスト

• Skin the sheep not only once: Reusing Various Depth Datasets to Drive the Learning of Optical Flow [25.23550076996421]
  本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。 モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。 また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
  論文  参考訳（メタデータ） (2023-10-03T06:56:07Z)
• Joint Self-supervised Depth and Optical Flow Estimation towards Dynamic Objects [3.794605440322862]
  本研究では,フレーム間監督深度と光フロー推定の枠組みを構築した。 動作のセグメンテーションでは、予備推定光フローマップを広い接続領域で適応的に分割する。 提案手法は,KITTI深度データセット上で既存の深度推定器よりも優れた精度を示す。
  論文  参考訳（メタデータ） (2023-09-07T04:00:52Z)
• DARF: Depth-Aware Generalizable Neural Radiance Field [51.29437249009986]
  本稿では,Depth-Aware Dynamic Smpling(DADS)戦略を用いたDARF(Depth-Aware Generalizable Neural Radiance Field)を提案する。 筆者らのフレームワークは,数枚の入力画像で,画素レベルと幾何学レベルの両方の見えないシーンを推測する。 DARFは、最先端の一般化可能なNeRF法と比較して、レンダリング品質と深さ推定を改善しつつ、サンプルを50%削減する。
  論文  参考訳（メタデータ） (2022-12-05T14:00:59Z)
• Visual Attention-based Self-supervised Absolute Depth Estimation using Geometric Priors in Autonomous Driving [8.045833295463094]
  空間的注意とチャネルの注意をすべてのステージに適用する,完全に視覚的注意に基づく奥行き(VADepth)ネットワークを導入する。 VADepthネットワークは、空間的およびチャネル的次元に沿った特徴の依存関係を長距離にわたって連続的に抽出することにより、重要な詳細を効果的に保存することができる。 KITTIデータセットの実験結果は、このアーキテクチャが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2022-05-18T08:01:38Z)
• Dimensions of Motion: Learning to Predict a Subspace of Optical Flow from a Single Image [50.9686256513627]
  本稿では,1つのビデオフレームから,実際の瞬時光フローを含む低次元の光フローのサブスペースを予測する問題を紹介する。 いくつかの自然シーンの仮定によって、不均一性によってパラメータ化されたベースフローフィールドの集合を通して、適切なフロー部分空間を特定できることを示す。 これは、カメラの内在やポーズを必要とせずに、単眼入力ビデオを使用して教師なしの方法でこれらのタスクを学習する新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2021-12-02T18:52:54Z)
• Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation [47.984368369734995]
  本稿では,イベントベース光フロー推定のためのニューラルネットアーキテクチャを提案する。 このネットワークは、Multi-Vehicle Stereo Event Cameraデータセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。 既存の最先端の手法を大きなマージンで上回る結果が得られた。
  論文  参考訳（メタデータ） (2021-09-10T13:37:37Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• Neural Topological SLAM for Visual Navigation [112.73876869904]
  意味論を生かし、近似幾何学的推論を行う空間のトポロジ的表現を設計する。 本稿では,ノイズのあるアクティベーションの下でそのような表現を構築し,維持し,使用することができる教師付き学習ベースアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-05-25T17:56:29Z)
• Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level Optimization [59.9673626329892]
  エピポーラ幾何を用いた光学フローとカメラモーションのグローバルな関係を利用する。 我々は暗黙の微分を用いて、その実装とは無関係に低レベルの幾何最適化層を通してバックプロパゲーションを可能にする。
  論文  参考訳（メタデータ） (2020-02-26T22:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。