論文の概要: Generalizable Novel-View Synthesis using a Stereo Camera

• arxiv url: http://arxiv.org/abs/2404.13541v1
• Date: Sun, 21 Apr 2024 05:39:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 18:31:12.414562
• Title: Generalizable Novel-View Synthesis using a Stereo Camera
• Title（参考訳）: ステレオカメラを用いた一般化可能なノベルビュー合成
• Authors: Haechan Lee, Wonjoon Jin, Seung-Hwan Baek, Sunghyun Cho,
• Abstract要約: 本稿では,多視点ステレオカメラ画像を対象とした,最初の一般化可能なビュー合成手法を提案する。 高品質な幾何再構成のための新規ビュー合成にステレオマッチングを導入する。 実験により、StereoNeRFは、一般化可能なビュー合成において、従来のアプローチを超越していることが示された。
• 参考スコア（独自算出の注目度）: 21.548844864282994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose the first generalizable view synthesis approach that specifically targets multi-view stereo-camera images. Since recent stereo matching has demonstrated accurate geometry prediction, we introduce stereo matching into novel-view synthesis for high-quality geometry reconstruction. To this end, this paper proposes a novel framework, dubbed StereoNeRF, which integrates stereo matching into a NeRF-based generalizable view synthesis approach. StereoNeRF is equipped with three key components to effectively exploit stereo matching in novel-view synthesis: a stereo feature extractor, a depth-guided plane-sweeping, and a stereo depth loss. Moreover, we propose the StereoNVS dataset, the first multi-view dataset of stereo-camera images, encompassing a wide variety of both real and synthetic scenes. Our experimental results demonstrate that StereoNeRF surpasses previous approaches in generalizable view synthesis.
• Abstract（参考訳）: 本稿では,多視点ステレオカメラ画像を対象とした,最初の一般化可能なビュー合成手法を提案する。 近年のステレオマッチングは正確な幾何予測を証明しているため、高品質な幾何再構成のための新しいビュー合成にステレオマッチングを導入する。 そこで本研究では,ステレオマッチングをNeRFに基づく一般化可能なビュー合成手法に統合する,StereoNeRFと呼ばれる新しいフレームワークを提案する。 StereoNeRFは3つのキーコンポーネントを備えており、立体特徴抽出器、深度誘導平面浮上、立体深度損失という、新しい視点合成におけるステレオマッチングを効果的に活用している。 さらに,ステレオカメラ画像の最初のマルチビューデータセットであるStereoNVSデータセットを提案する。 実験により、StereoNeRFは、一般化可能なビュー合成において、従来のアプローチを超越していることが示された。

関連論文リスト

• Stereo Anything: Unifying Stereo Matching with Large-Scale Mixed Data [26.029499450825092]
  我々は、ロバストなステレオマッチングのためのソリューションであるStereoAnythingを紹介する。 ラベル付きステレオ画像を収集し,ラベル付きモノクロ画像から合成ステレオペアを生成することにより,データセットをスケールアップする。 5つの公開データセット上で,モデルのゼロショット能力を広範囲に評価した。
  論文  参考訳（メタデータ） (2024-11-21T11:59:04Z)
• Revisiting Depth Completion from a Stereo Matching Perspective for Cross-domain Generalization [40.25292494550211]
  本稿は,現代のステレオネットワークの深度補完に対する一般化能力を利用する。 ステレオネットワークや従来のステレオマッチングは、私たちのフレームワークにシームレスにプラグインできます。
  論文  参考訳（メタデータ） (2023-12-14T18:59:58Z)
• Unifying Correspondence, Pose and NeRF for Pose-Free Novel View Synthesis from Stereo Pairs [57.492124844326206]
  この研究は、3次元視覚における挑戦的で先駆的な課題であるステレオペアからのポーズレスノベルビュー合成の課題に踏み込んだ。 我々の革新的なフレームワークは、これまでとは違って、シームレスに2D対応マッチング、カメラポーズ推定、NeRFレンダリングを統合し、これらのタスクの相乗的強化を促進します。
  論文  参考訳（メタデータ） (2023-12-12T13:22:44Z)
• Single-View View Synthesis with Self-Rectified Pseudo-Stereo [49.946151180828465]
  疑似ステレオ視点を生成する前に、信頼性と明示的なステレオを利用する。 本稿では,自己修正ステレオ合成法を提案する。 本手法は,最先端の単一ビュービュー合成法およびステレオ合成法より優れる。
  論文  参考訳（メタデータ） (2023-04-19T09:36:13Z)
• Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
  本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。 スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。 対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-17T17:40:52Z)
• Novel-View Acoustic Synthesis [140.1107768313269]
  本稿では,NVASタスクについて紹介する。 音源の視点で観測された視界と音から 見えない対象の視点から そのシーンの音を合成できるか? 空間内の任意の点の音を合成することを学ぶ視覚誘導音響合成(ViGAS)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-01-20T18:49:58Z)
• Stereo Unstructured Magnification: Multiple Homography Image for View Synthesis [72.09193030350396]
  立体非構造倍率と呼ばれる一対の画像から一定の回転数で視線合成の問題を考察する。 固定された正規度と距離を持つシーン平面の集合からなる,新しいマルチホモグラフィ画像表現を提案する。 角度に基づくコストを導出し, 正規形状ごとのブレンディングを導出する。
  論文  参考訳（メタデータ） (2022-04-01T01:39:28Z)
• Street-view Panoramic Video Synthesis from a Single Satellite Image [92.26826861266784]
  時間的および幾何学的に一貫したストリートビューパノラマビデオの両方を合成する新しい方法を提示する。 既存のクロスビュー合成アプローチは画像に重点を置いているが、そのような場合のビデオ合成はまだ十分な注目を集めていない。
  論文  参考訳（メタデータ） (2020-12-11T20:22:38Z)
• Polka Lines: Learning Structured Illumination and Reconstruction for Active Stereo [52.68109922159688]
  本稿では,波動光学と幾何光学の両方に依存した,アクティブステレオのための新しい微分可能な画像形成モデルと,新しい三眼再構成ネットワークを提案する。 Polka Lines" を再現ネットワークと組み合わせた共同最適化パターンは, 撮像条件全体にわたって, 最先端のアクティブステレオ深度推定を達成している。
  論文  参考訳（メタデータ） (2020-11-26T04:02:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。