論文の概要: Unifying Correspondence, Pose and NeRF for Pose-Free Novel View Synthesis from Stereo Pairs

• arxiv url: http://arxiv.org/abs/2312.07246v1
• Date: Tue, 12 Dec 2023 13:22:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 16:01:31.373215
• Title: Unifying Correspondence, Pose and NeRF for Pose-Free Novel View Synthesis from Stereo Pairs
• Title（参考訳）: ステレオ・ペアからのポーズフリー新規ビュー合成のための対応性, ポースおよびNeRFの統一
• Authors: Sunghwan Hong, Jaewoo Jung, Heeseong Shin, Jiaolong Yang, Seungryong Kim, Chong Luo
• Abstract要約: この研究は、3次元視覚における挑戦的で先駆的な課題であるステレオペアからのポーズレスノベルビュー合成の課題に踏み込んだ。 我々の革新的なフレームワークは、これまでとは違って、シームレスに2D対応マッチング、カメラポーズ推定、NeRFレンダリングを統合し、これらのタスクの相乗的強化を促進します。
• 参考スコア（独自算出の注目度）: 60.91956508636362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work delves into the task of pose-free novel view synthesis from stereo pairs, a challenging and pioneering task in 3D vision. Our innovative framework, unlike any before, seamlessly integrates 2D correspondence matching, camera pose estimation, and NeRF rendering, fostering a synergistic enhancement of these tasks. We achieve this through designing an architecture that utilizes a shared representation, which serves as a foundation for enhanced 3D geometry understanding. Capitalizing on the inherent interplay between the tasks, our unified framework is trained end-to-end with the proposed training strategy to improve overall model accuracy. Through extensive evaluations across diverse indoor and outdoor scenes from two real-world datasets, we demonstrate that our approach achieves substantial improvement over previous methodologies, especially in scenarios characterized by extreme viewpoint changes and the absence of accurate camera poses.
• Abstract（参考訳）: この研究は、3次元視覚における挑戦的で先駆的な課題であるステレオペアからのポーズレスノベルビュー合成の課題に踏み込んだ。 我々の革新的なフレームワークは、これまでとは違って、シームレスに2D対応マッチング、カメラポーズ推定、NeRFレンダリングを統合し、これらのタスクの相乗的強化を促進します。 我々は,3次元幾何学理解の基盤となる共有表現を利用するアーキテクチャを設計することにより,これを実現する。 タスク間の固有の相互作用に基づいて、我々の統合されたフレームワークは、モデル全体の正確性を改善するために提案されたトレーニング戦略とエンドツーエンドで訓練される。 実世界の2つのデータセットから様々な屋内・屋外のシーンを網羅的に評価することにより,これまでの手法,特に極端な視点の変化と正確なカメラポーズの欠如を特徴とするシナリオにおいて,我々のアプローチが大幅に改善されていることを示す。

関連論文リスト

• Integrating View Conditions for Image Synthesis [14.738884513493227]
  本稿では、視点情報を統合して画像編集タスクの制御を強化する先駆的なフレームワークを提案する。 我々は、画像編集法で満たすべき3つの必須基準、一貫性、可制御性、調和を蒸留する。
  論文  参考訳（メタデータ） (2023-10-24T16:55:07Z)
• Learning Unified Decompositional and Compositional NeRF for Editable Novel View Synthesis [37.98068169673019]
  暗黙の神経表現は、現実世界の3Dシーンをモデル化する上で強力な能力を示し、新しいビュー合成において優れた性能を提供している。 本研究では,共同シーンの分解と合成を効果的に行うため,NeRF(Neural Radiance Field)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-05T10:42:05Z)
• Towards Scalable Multi-View Reconstruction of Geometry and Materials [27.660389147094715]
  本稿では,3次元シーンのカメラポーズ,オブジェクト形状,空間変化の両方向反射分布関数(svBRDF)のジョイントリカバリ手法を提案する。 入力は高解像度のRGBD画像であり、アクティブ照明用の点灯付き携帯型ハンドヘルドキャプチャシステムによってキャプチャされる。
  論文  参考訳（メタデータ） (2023-06-06T15:07:39Z)
• Unifying Flow, Stereo and Depth Estimation [121.54066319299261]
  本稿では3つの動作と3次元知覚タスクのための統一的な定式化とモデルを提案する。 これら3つのタスクを、統一された高密度対応マッチング問題として定式化する。 我々のモデルは、モデルアーキテクチャとパラメータがタスク間で共有されているため、自然にクロスタスク転送を可能にします。
  論文  参考訳（メタデータ） (2022-11-10T18:59:54Z)
• Robust Single Image Dehazing Based on Consistent and Contrast-Assisted Reconstruction [95.5735805072852]
  画像復調モデルのロバスト性を改善するための新しい密度変分学習フレームワークを提案する。 具体的には、デハジングネットワークは、一貫性の規則化されたフレームワークの下で最適化されている。 我々の手法は最先端のアプローチを大きく上回っている。
  論文  参考訳（メタデータ） (2022-03-29T08:11:04Z)
• Self-Supervised Multi-View Synchronization Learning for 3D Pose Estimation [39.334995719523]
  現在の方法では、画像の大規模なデータセットと対応するスケルトンポーズに基づいてニューラルネットワークをトレーニングすることで、学習問題としてモノラルな3次元ポーズ推定が採用されている。 そこで本稿では,ラベルなしデータセットの自己教師付き学習を通じて事前学習した微調整ネットワークによって,小さな注釈付きデータセットを活用できるアプローチを提案する。 我々は,Human3.6Mデータセット上での同期タスクの有効性を実証し,人間の3次元ポーズ推定における最先端結果を実現する。
  論文  参考訳（メタデータ） (2020-10-13T08:01:24Z)
• Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
  本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。 VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2020-07-14T14:45:00Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild [101.70320427145388]
  本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。 提案手法を2つの大規模データセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-17T08:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。