論文の概要: Inter-View Depth Consistency Testing in Depth Difference Subspace

• arxiv url: http://arxiv.org/abs/2301.11752v1
• Date: Fri, 27 Jan 2023 18:43:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 15:18:44.524897
• Title: Inter-View Depth Consistency Testing in Depth Difference Subspace
• Title（参考訳）: 深度差部分空間におけるビュー間深度一貫性試験
• Authors: Pravin Kumar Rana and Markus Flierl
• Abstract要約: マルチビュー深度画像は、自由視点テレビにおいて重要な役割を果たす。 本稿では,深度差分空間における深度整合性試験法を提案する。 また,得られた一貫性情報を用いて仮想ビューの視覚的品質を向上させるビュー合成アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.205922305859478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiview depth imagery will play a critical role in free-viewpoint television. This technology requires high quality virtual view synthesis to enable viewers to move freely in a dynamic real world scene. Depth imagery at different viewpoints is used to synthesize an arbitrary number of novel views. Usually, depth images at multiple viewpoints are estimated individually by stereo-matching algorithms, and hence, show lack of interview consistency. This inconsistency affects the quality of view synthesis negatively. This paper proposes a method for depth consistency testing in depth difference subspace to enhance the depth representation of a scene across multiple viewpoints. Furthermore, we propose a view synthesis algorithm that uses the obtained consistency information to improve the visual quality of virtual views at arbitrary viewpoints. Our method helps us to find a linear subspace for our depth difference measurements in which we can test the inter-view consistency efficiently. With this, our approach is able to enhance the depth information for real world scenes. In combination with our consistency-adaptive view synthesis, we improve the visual experience of the free-viewpoint user. The experiments show that our approach enhances the objective quality of virtual views by up to 1.4 dB. The advantage for the subjective quality is also demonstrated.
• Abstract（参考訳）: マルチビュー深度画像は、自由視点テレビにおいて重要な役割を果たす。 この技術は、視聴者がダイナミックな現実世界のシーンで自由に動けるように、高品質な仮想ビュー合成を必要とする。 異なる視点の深度画像は、任意の数の新しいビューを合成するために使用される。 通常、複数の視点における深度画像はステレオマッチングアルゴリズムによって個別に推定されるため、インタビュー一貫性の欠如が示される。 この矛盾はビュー合成の品質に悪影響を及ぼす。 本論文では,複数の視点にまたがるシーンの深度表現を強化するために,深度差部分空間における深度整合性試験法を提案する。 さらに,得られた一貫性情報を用いて任意の視点における仮想ビューの視覚品質を向上させるビュー合成アルゴリズムを提案する。 本手法は,視間一貫性を効率的にテストできる深度差測定のための線形部分空間の探索に有用である。 これにより,本手法は現実世界のシーンの深度情報を強化することができる。 一貫性適応ビュー合成と組み合わせて、自由視点ユーザの視覚的体験を改善する。 実験の結果,本手法は最大1.4dbの仮想ビューの客観的な品質向上を実現した。 主観的品質の利点も示される。

関連論文リスト

• CMC: Few-shot Novel View Synthesis via Cross-view Multiplane Consistency [18.101763989542828]
  本稿では,入力ビュー間の奥行き認識一貫性を明確かつ効果的に構築する手法を提案する。 我々の重要な洞察は、同じ空間点を異なる入力ビューで繰り返しサンプリングすることで、ビュー間の相互作用を強化することができるということである。 単純かつ広範な実験により,提案手法は最先端の手法よりも優れた合成品質が得られることを示した。
  論文  参考訳（メタデータ） (2024-02-26T09:04:04Z)
• Depth self-supervision for single image novel view synthesis [26.223796965401654]
  入力として1フレームを与えられた任意の視点から新しい画像を生成する問題に取り組む。 我々は、新しいビュー合成と深さ推定の両方のために、我々のフレームワークを共同で最適化し、両者のシナジーを解き放つ。
  論文  参考訳（メタデータ） (2023-08-27T13:50:15Z)
• Calibrating Panoramic Depth Estimation for Practical Localization and Mapping [20.621442016969976]
  周囲環境の絶対深度値は, 局所化, ナビゲーション, 3次元構造推定など, 様々な補助技術にとって重要な手がかりとなる。 本研究では,パノラマ画像から推定される精度の高い深度が,3次元情報を必要とする幅広い下流タスクに対して,強力で軽量な入力として機能することを提案する。
  論文  参考訳（メタデータ） (2023-08-27T04:50:05Z)
• DINER: Depth-aware Image-based NEural Radiance fields [45.63488428831042]
  我々はDINER(Depth-aware Image-based NEural Radiance Field)を提案する。 RGB入力ビューの粗いセットが与えられた場合、シーン表現の再構築を導くために深度と特徴マップを予測する。 特徴融合と効率的なシーンサンプリングに深度情報を組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-29T23:22:44Z)
• HORIZON: High-Resolution Semantically Controlled Panorama Synthesis [105.55531244750019]
  パノラマ合成は、仮想世界の中心にユーザーを没入させ、360度の視覚的な風景を再現する。 視覚合成の最近の進歩は、2次元平面画像における意味制御の可能性を解き放ったが、これらの手法のパノラマ合成への直接的応用は歪んだ内容を生み出す。 我々は,高分解能パノラマを生成するための革新的な枠組みを公表し,洗練された球面モデリングによる球面歪みとエッジ不連続性の問題に着目した。
  論文  参考訳（メタデータ） (2022-10-10T09:43:26Z)
• SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
  本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。 具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。 実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-04-07T17:58:47Z)
• Self-Supervised Visibility Learning for Novel View Synthesis [79.53158728483375]
  従来のレンダリング方法はシーン形状を推定し、2つの別々のステップで新しいビューを合成します。 エラー伝搬問題を排除するために,エンドツーエンドのNVSフレームワークを提案する。 当社のネットワークはエンドツーエンドのセルフ監視方式でトレーニングされており、ビュー合成におけるエラーの蓄積を大幅に軽減します。
  論文  参考訳（メタデータ） (2021-03-29T08:11:25Z)
• Semantic View Synthesis [56.47999473206778]
  我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。 まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。 次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
  論文  参考訳（メタデータ） (2020-08-24T17:59:46Z)
• Novel View Synthesis of Dynamic Scenes with Globally Coherent Depths from a Monocular Camera [93.04135520894631]
  本稿では,動的シーンの画像のコレクションを与えられた任意のビューや時間から画像を合成する新しい手法を提案する。 新しいビュー合成の鍵となる課題は、エピポーラ幾何学が動的コンテンツの局所的な動きに適用できない動的なシーン再構成から生じる。 この課題に対処するために、DSVが完成しているマルチビューステレオ(DMV)からの深度と深度を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-04-02T22:45:53Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。