論文の概要: Generic Objects as Pose Probes for Few-Shot View Synthesis
- arxiv url: http://arxiv.org/abs/2408.16690v2
- Date: Sun, 1 Sep 2024 09:07:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-04 12:24:11.849405
- Title: Generic Objects as Pose Probes for Few-Shot View Synthesis
- Title(参考訳): ポーズプローブとしてのジェネリックオブジェクト
- Authors: Zhirui Gao, Renjiao Yi, Chenyang Zhu, Ke Zhuang, Wei Chen, Kai Xu,
- Abstract要約: NeRFや3D Gaussianなどの放射場は、高忠実なレンダリングやシーン再構成において大きな可能性を示している。
COLMAPはポーズを推定する前処理によく使用される。
我々は,3~6面のシーン画像のみを用いて,少数視点のNeRF再構成を実現することを目的としている。
- 参考スコア(独自算出の注目度): 14.768563613747633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Radiance fields including NeRFs and 3D Gaussians demonstrate great potential in high-fidelity rendering and scene reconstruction, while they require a substantial number of posed images as inputs. COLMAP is frequently employed for preprocessing to estimate poses, while it necessitates a large number of feature matches to operate effectively, and it struggles with scenes characterized by sparse features, large baselines between images, or a limited number of input images. We aim to tackle few-view NeRF reconstruction using only 3 to 6 unposed scene images. Traditional methods often use calibration boards but they are not common in images. We propose a novel idea of utilizing everyday objects, commonly found in both images and real life, as "pose probes". The probe object is automatically segmented by SAM, whose shape is initialized from a cube. We apply a dual-branch volume rendering optimization (object NeRF and scene NeRF) to constrain the pose optimization and jointly refine the geometry. Specifically, object poses of two views are first estimated by PnP matching in an SDF representation, which serves as initial poses. PnP matching, requiring only a few features, is suitable for feature-sparse scenes. Additional views are incrementally incorporated to refine poses from preceding views. In experiments, PoseProbe achieves state-of-the-art performance in both pose estimation and novel view synthesis across multiple datasets. We demonstrate its effectiveness, particularly in few-view and large-baseline scenes where COLMAP struggles. In ablations, using different objects in a scene yields comparable performance. Our project page is available at: \href{https://zhirui-gao.github.io/PoseProbe.github.io/}{this https URL}
- Abstract(参考訳): NeRF や 3D Gaussian などの放射場は高忠実なレンダリングやシーン再構成において大きな可能性を秘めている。
COLMAPはポーズを推定する前処理に頻繁に使用されるが、多くの特徴マッチングが必要であり、スパースな特徴、画像間の大きなベースライン、限られた数の入力画像によって特徴づけられるシーンと競合する。
我々は,3~6面のシーン画像のみを用いて,少数視点のNeRF再構成を実現することを目的としている。
従来の方法では校正板を使うことが多いが、画像では一般的ではない。
画像と実生活の両方でよく見られる日常的な物体を「目的プローブ」として活用する新しいアイデアを提案する。
プローブオブジェクトはSAMによって自動的にセグメンテーションされ、その形状は立方体から初期化される。
我々は、ポーズ最適化を制約し、幾何を共同で洗練するために、デュアルブランチボリュームレンダリング最適化(オブジェクトのNeRFとシーンのNeRF)を適用した。
具体的には、2つのビューのオブジェクトのポーズは、最初のポーズとして機能するSDF表現におけるPnPマッチングによって最初に推定される。
少数の機能しか必要としないPnPマッチングは、機能スパースシーンに適している。
追加のビューは、先行するビューからのポーズを洗練するために漸進的に組み込まれます。
実験では、PoseProbeは複数のデータセットにまたがるポーズ推定と新しいビュー合成の両方で最先端のパフォーマンスを達成する。
特に,COLMAPが苦しむ少数視点および大規模ベースラインシーンにおいて,その効果を実証する。
アブレーションでは、シーンで異なるオブジェクトを使用すると、同等のパフォーマンスが得られる。
私たちのプロジェクトページは以下の通りである。
関連論文リスト
- Extreme Two-View Geometry From Object Poses with Diffusion Models [21.16779160086591]
オブジェクト先行のパワーを利用して、極端な視点変化に直面した2次元幾何学を正確に決定する。
実験では, 大局的な視点変化に対して, 突如として頑健さと弾力性を示した。
論文 参考訳(メタデータ) (2024-02-05T08:18:47Z) - Pose-Free Neural Radiance Fields via Implicit Pose Regularization [117.648238941948]
IR-NeRFは、暗黙的なポーズ規則化を導入し、ポーズ推定器を非ポーズの実像で精査する革新的なポーズフリー神経放射場である。
特定のシーンの2D画像の収集により、IR-NeRFはシーンの特徴を記憶するシーンコードブックを構築し、シーン固有のポーズ分布を前もって暗黙的にキャプチャする。
論文 参考訳(メタデータ) (2023-08-29T06:14:06Z) - Generalizable Pose Estimation Using Implicit Scene Representations [4.124185654280966]
6-DoFのポーズ推定は、ロボット操作パイプラインの重要なコンポーネントである。
本稿では,異なるポーズで表現できる十分な情報を含むモデルを用いたポーズ推定の一般化能力について論じる。
最終評価では,既存手法と比較して推論性能と速度が大幅に向上した。
論文 参考訳(メタデータ) (2023-05-26T20:42:52Z) - PoseMatcher: One-shot 6D Object Pose Estimation by Deep Feature Matching [51.142988196855484]
本稿では,PoseMatcherを提案する。
3ビューシステムに基づくオブジェクトと画像のマッチングのための新しいトレーニングパイプラインを作成します。
PoseMatcherは、画像とポイントクラウドの異なる入力モダリティに対応できるように、IO-Layerを導入します。
論文 参考訳(メタデータ) (2023-04-03T21:14:59Z) - Few-View Object Reconstruction with Unknown Categories and Camera Poses [80.0820650171476]
この研究は、カメラのポーズやオブジェクトのカテゴリを知らない少数の画像から、一般的な現実世界のオブジェクトを再構築する。
私たちの研究の要点は、形状再構成とポーズ推定という、2つの基本的な3D視覚問題を解決することです。
提案手法は,各ビューから3次元特徴を予測し,それらを入力画像と組み合わせて活用し,クロスビュー対応を確立する。
論文 参考訳(メタデータ) (2022-12-08T18:59:02Z) - RUST: Latent Neural Scene Representations from Unposed Imagery [21.433079925439234]
2次元観察から3次元シーンの構造を推定することは、コンピュータビジョンにおける根本的な課題である。
ニューラルシーン表現に基づく最近の普及したアプローチは、非常に大きな影響を与えている。
RUST(Really Unposed Scene representation Transformer)は、RGB画像だけで訓練された新しいビューに対するポーズレスアプローチである。
論文 参考訳(メタデータ) (2022-11-25T18:59:10Z) - SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。
提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
論文 参考訳(メタデータ) (2022-11-21T18:57:47Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳(メタデータ) (2022-11-21T17:42:42Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - DSC-PoseNet: Learning 6DoF Object Pose Estimation via Dual-scale
Consistency [43.09728251735362]
2Dオブジェクト境界ボックスから6DoFオブジェクトポーズを得るための2ステップポーズ推定フレームワークを提案する。
最初のステップでは、フレームワークはオブジェクトを実際のデータと合成データからセグメンテーションすることを学ぶ。
第2のステップでは,dsc-posenetという,デュアルスケールなポーズ推定ネットワークを設計する。
提案手法は,合成データに基づいて訓練した最先端のモデルよりも大きなマージンで優れる。
論文 参考訳(メタデータ) (2021-04-08T10:19:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。