論文の概要: Scale-Consistent Fusion: from Heterogeneous Local Sampling to Global Immersive Rendering

• arxiv url: http://arxiv.org/abs/2106.09548v1
• Date: Thu, 17 Jun 2021 14:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 15:49:38.979035
• Title: Scale-Consistent Fusion: from Heterogeneous Local Sampling to Global Immersive Rendering
• Title（参考訳）: スケール一貫性のある融合:異種局所サンプリングからグローバル没入レンダリングへ
• Authors: Wenpeng Xing, Jie Chen, Zaifeng Yang and Qiang Wang
• Abstract要約: 画像に基づく幾何モデリングと、スパースに基づく新しいビュー合成は、バーチャルリアリティや没入型テレプレゼンスのような新興マルチメディアアプリケーションにとって難しいが重要な課題である。 LFカメラの普及により、LF画像(LFI)の撮影は通常の写真撮影と同じくらい便利になり、幾何情報も確実に推測できる。 本稿では,大域的幾何融合のための異なるキャプチャ間の分散確率ボリューム(DPV)を頑健に整合させる,新しいスケール一貫性ボリューム再スケーリングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 9.893045525907219
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-based geometric modeling and novel view synthesis based on sparse, large-baseline samplings are challenging but important tasks for emerging multimedia applications such as virtual reality and immersive telepresence. Existing methods fail to produce satisfactory results due to the limitation on inferring reliable depth information over such challenging reference conditions. With the popularization of commercial light field (LF) cameras, capturing LF images (LFIs) is as convenient as taking regular photos, and geometry information can be reliably inferred. This inspires us to use a sparse set of LF captures to render high-quality novel views globally. However, fusion of LF captures from multiple angles is challenging due to the scale inconsistency caused by various capture settings. To overcome this challenge, we propose a novel scale-consistent volume rescaling algorithm that robustly aligns the disparity probability volumes (DPV) among different captures for scale-consistent global geometry fusion. Based on the fused DPV projected to the target camera frustum, novel learning-based modules have been proposed (i.e., the attention-guided multi-scale residual fusion module, and the disparity field guided deep re-regularization module) which comprehensively regularize noisy observations from heterogeneous captures for high-quality rendering of novel LFIs. Both quantitative and qualitative experiments over the Stanford Lytro Multi-view LF dataset show that the proposed method outperforms state-of-the-art methods significantly under different experiment settings for disparity inference and LF synthesis.
• Abstract（参考訳）: 画像に基づく幾何モデリングと、スパースに基づく新しいビュー合成は、バーチャルリアリティや没入型テレプレゼンスのような新興マルチメディアアプリケーションにとって難しいが重要な課題である。 既存の手法では、このような困難な基準条件で信頼できる奥行き情報を推測する限界があるため、十分な結果が得られない。 LFカメラの普及に伴い、LF画像(LFI)の撮影は通常の写真撮影と同じくらい便利であり、幾何情報を確実に推測することができる。 これにより、LFキャプチャのスパースセットを使用して、高品質なノベルビューを世界中でレンダリングするインスピレーションを得ました。 しかし,複数角度からのLFキャプチャの融合は,様々なキャプチャ設定によるスケールの不整合のため困難である。 この課題を克服するために,大域的幾何融合のための異なるキャプチャ間の相違確率ボリューム(DPV)を頑健に整合させる,新しいスケール一貫性ボリューム再スケーリングアルゴリズムを提案する。 対象のカメラフラストムに投射される融合DPVに基づいて、新しい学習ベースモジュール(注意誘導型マルチスケール残差融合モジュール、深部再規則化モジュール)が提案され、新規LFIの高画質レンダリングのための異種捕獲からのノイズ観測を包括的に規則化している。 スタンフォードのLytro Multi-view LFデータセットに対する定量的および定性的な実験は、提案手法が異種推論とLF合成の異なる実験条件下で、最先端の手法よりも優れていることを示している。

関連論文リスト

• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• Diffusion-based Light Field Synthesis [50.24624071354433]
  LFdiffは、LF合成に適した拡散ベースの生成フレームワークである。 本稿では,遠絡型雑音推定ネットワークDistgUnetを提案する。 広範囲な実験により、LFdiffは視覚的に快く、不均一に制御可能な光電場を合成する際に優れていることが示されている。
  論文  参考訳（メタデータ） (2024-02-01T13:13:16Z)
• LFSRDiff: Light Field Image Super-Resolution via Diffusion Models [18.20217829625834]
  光電場(LF)画像超解像(SR)は、固有の不適切な性質のため難しい問題である。 主流のLF画像SR法は、一般的に決定論的アプローチを採用し、ピクセル単位の損失関数によって制御される1つの出力しか生成しない。 本稿では,最初の拡散型LF画像SRモデルであるLPSRDiffを紹介する。
  論文  参考訳（メタデータ） (2023-11-27T07:31:12Z)
• Light Field Diffusion for Single-View Novel View Synthesis [32.59286750410843]
  NVS(Single-view novel view synthesis)は、コンピュータビジョンにおいて重要であるが困難である。 NVSの最近の進歩は、高忠実度画像を生成するのに優れた能力として、Denoising Diffusion Probabilistic Models (DDPMs)を活用している。 光電界拡散(LFD)は,従来のカメラポーズ行列への依存を超越した,条件拡散に基づく新しいアプローチである。
  論文  参考訳（メタデータ） (2023-09-20T03:27:06Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses [67.01164492518481]
  本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。 本稿では,入力の特徴を包括的に活用できる新しいエンドツーエンド学習手法を提案する。 我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性がある。
  論文  参考訳（メタデータ） (2021-02-14T06:44:47Z)
• Deep Selective Combinatorial Embedding and Consistency Regularization for Light Field Super-resolution [93.95828097088608]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LFサブアパーチャ画像間のコヒーレンスを探索するための,新しい学習ベースLF空間SRフレームワークを提案する。 合成および実世界のLFデータセットに対する実験結果は、最先端手法に対する我々のアプローチの顕著な利点を示している。
  論文  参考訳（メタデータ） (2020-09-26T08:34:37Z)
• Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization [99.96632216070718]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-05T14:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。