論文の概要: Self-Supervised Visibility Learning for Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2103.15407v1
• Date: Mon, 29 Mar 2021 08:11:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-03-31 01:57:36.139716
• Title: Self-Supervised Visibility Learning for Novel View Synthesis
• Title（参考訳）: 新しい視点合成のための自己監督型可視性学習
• Authors: Yujiao Shi, Hongdong Li, Xin Yu
• Abstract要約: 従来のレンダリング方法はシーン形状を推定し、2つの別々のステップで新しいビューを合成します。 エラー伝搬問題を排除するために,エンドツーエンドのNVSフレームワークを提案する。 当社のネットワークはエンドツーエンドのセルフ監視方式でトレーニングされており、ビュー合成におけるエラーの蓄積を大幅に軽減します。
• 参考スコア（独自算出の注目度）: 79.53158728483375
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We address the problem of novel view synthesis (NVS) from a few sparse source view images. Conventional image-based rendering methods estimate scene geometry and synthesize novel views in two separate steps. However, erroneous geometry estimation will decrease NVS performance as view synthesis highly depends on the quality of estimated scene geometry. In this paper, we propose an end-to-end NVS framework to eliminate the error propagation issue. To be specific, we construct a volume under the target view and design a source-view visibility estimation (SVE) module to determine the visibility of the target-view voxels in each source view. Next, we aggregate the visibility of all source views to achieve a consensus volume. Each voxel in the consensus volume indicates a surface existence probability. Then, we present a soft ray-casting (SRC) mechanism to find the most front surface in the target view (i.e. depth). Specifically, our SRC traverses the consensus volume along viewing rays and then estimates a depth probability distribution. We then warp and aggregate source view pixels to synthesize a novel view based on the estimated source-view visibility and target-view depth. At last, our network is trained in an end-to-end self-supervised fashion, thus significantly alleviating error accumulation in view synthesis. Experimental results demonstrate that our method generates novel views in higher quality compared to the state-of-the-art.
• Abstract（参考訳）: 本稿では,いくつかのスパースソース画像からの新規ビュー合成(NVS)の問題に対処する。 従来のイメージベースレンダリング手法はシーン形状を推定し、2つの異なるステップで新しいビューを合成する。 しかし、ビュー合成が推定シーンジオメトリの品質に大きく依存するため、誤った幾何推定はnvs性能を低下させる。 本稿では,エラー伝搬問題を解消するエンドツーエンドNVSフレームワークを提案する。 具体的には、ターゲットビューの下にボリュームを構築し、ソースビュー内のターゲットビューボクセルの可視性を決定するために、ソースビュー可視性推定(SVE)モジュールを設計する。 次に、すべてのソースビューの可視性を統合し、コンセンサスボリュームを達成する。 コンセンサスボリュームの各ボクセルは、表面存在確率を示す。 そこで,本研究では,対象視界における最前線を見つけるためのソフトレイキャスティング(SRC)機構を提案する。 深さ)。 具体的には、SRCは、視線に沿ってコンセンサス体積を横切り、深さ確率分布を推定する。 次に、ソースビューピクセルをワープして集約し、推定したソースビュー可視性とターゲットビュー深度に基づいて新しいビューを合成する。 最終的に、我々のネットワークはエンドツーエンドのセルフ教師方式で訓練され、ビュー合成におけるエラーの蓄積を著しく軽減する。 実験の結果,本手法は最新技術と比較して高い品質で新たなビューを生成することがわかった。

関連論文リスト

• AR-1-to-3: Single Image to Consistent 3D Object Generation via Next-View Prediction [69.65671384868344]
  拡散モデルに基づく新しい次世代予測パラダイムAR-1-to-3を提案する。 提案手法は,生成したビューと入力ビューとの整合性を大幅に改善し,高忠実度3Dアセットを生成する。
  論文  参考訳（メタデータ） (2025-03-17T08:39:10Z)
• Synthesizing Consistent Novel Views via 3D Epipolar Attention without Re-Training [102.82553402539139]
  大規模な拡散モデルでは、単一画像からの新規なビュー合成において顕著なゼロショット機能を示す。 これらのモデルは、新規および参照ビュー間の一貫性を維持する上で、しばしば課題に直面します。 入力ビューから重なり合う情報の探索と検索にエピポーラ幾何を用いることを提案する。 この情報はターゲットビューの生成に組み込まれ、トレーニングや微調整の必要がなくなる。
  論文  参考訳（メタデータ） (2025-02-25T14:04:22Z)
• CMC: Few-shot Novel View Synthesis via Cross-view Multiplane Consistency [18.101763989542828]
  本稿では,入力ビュー間の奥行き認識一貫性を明確かつ効果的に構築する手法を提案する。 我々の重要な洞察は、同じ空間点を異なる入力ビューで繰り返しサンプリングすることで、ビュー間の相互作用を強化することができるということである。 単純かつ広範な実験により,提案手法は最先端の手法よりも優れた合成品質が得られることを示した。
  論文  参考訳（メタデータ） (2024-02-26T09:04:04Z)
• Enhanced Stable View Synthesis [86.69338893753886]
  本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。 導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-30T01:53:14Z)
• ProbNVS: Fast Novel View Synthesis with Learned Probability-Guided Sampling [42.37704606186928]
  本稿では,MVSの事前学習に基づいて,新しいビュー合成フレームワークを構築することを提案する。 本手法は,最先端のベースラインに比べて15～40倍高速なレンダリングを実現する。
  論文  参考訳（メタデータ） (2022-04-07T14:45:42Z)
• Content-aware Warping for View Synthesis [110.54435867693203]
  本稿では,比較的大きな近傍の画素の重みを,軽量ニューラルネットワークによる文脈情報から適応的に学習するコンテンツ認識ワープを提案する。 この学習可能なワープモジュールに基づいて、2つのソースビューから新しいビューを合成するエンド・ツー・エンドの学習ベースのフレームワークを提案する。 広いベースラインと非構造的多視点データセットを有する構造的光フィールドデータセットの実験結果から,提案手法は,定量的かつ視覚的に,最先端の手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2022-01-22T11:35:05Z)
• NVS-MonoDepth: Improving Monocular Depth Prediction with Novel View Synthesis [74.4983052902396]
  単眼深度推定を改善するために,3つの主要なステップに分割した新しいトレーニング手法を提案する。 実験により,KITTIおよびNYU-Depth-v2データセット上での最先端ないし同等の性能が得られた。
  論文  参考訳（メタデータ） (2021-12-22T12:21:08Z)
• Novel View Synthesis from a Single Image via Unsupervised learning [27.639536023956122]
  本研究では,そのような画素変換を単一ソース視点から学習するための教師なしネットワークを提案する。 学習した変換により、未知のポーズの単一のソース視点画像から新しいビューを合成することができる。
  論文  参考訳（メタデータ） (2021-10-29T06:32:49Z)
• Deep View Synthesis via Self-Consistent Generative Network [41.34461086700849]
  ビュー合成は、2つ以上のカメラが異なる位置で捉えた一連のビューから目に見えないビューを生成することを目的としている。 この問題に対処するために、ほとんどの既存の方法はピクセルに一致する幾何学的情報を利用しようとします。 本稿では,幾何学的情報を明示的に活用することなく,新たなビューを合成する自己持続生成ネットワーク(SCGN)を提案する。
  論文  参考訳（メタデータ） (2021-01-19T10:56:00Z)
• Stable View Synthesis [100.86844680362196]
  安定ビュー合成(SVS)について紹介する。 SVSは、自由に分散された視点からシーンを描写するソースイメージのセットを与えられた場合、シーンの新たなビューを合成する。 SVSは3つの異なる実世界のデータセットに対して定量的かつ質的に、最先端のビュー合成手法より優れている。
  論文  参考訳（メタデータ） (2020-11-14T07:24:43Z)
• Novel View Synthesis of Dynamic Scenes with Globally Coherent Depths from a Monocular Camera [93.04135520894631]
  本稿では,動的シーンの画像のコレクションを与えられた任意のビューや時間から画像を合成する新しい手法を提案する。 新しいビュー合成の鍵となる課題は、エピポーラ幾何学が動的コンテンツの局所的な動きに適用できない動的なシーン再構成から生じる。 この課題に対処するために、DSVが完成しているマルチビューステレオ(DMV)からの深度と深度を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-04-02T22:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。