論文の概要: Revisiting Light Field Rendering with Deep Anti-Aliasing Neural Network

• arxiv url: http://arxiv.org/abs/2104.06797v1
• Date: Wed, 14 Apr 2021 12:03:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:07:38.647555
• Title: Revisiting Light Field Rendering with Deep Anti-Aliasing Neural Network
• Title（参考訳）: ディープアンチエイリアシングニューラルネットワークによる光フィールドレンダリングの再検討
• Authors: Gaochang Wu, Yebin Liu, Lu Fang, Tianyou Chai
• Abstract要約: 本稿では,従来のLFレンダリングフレームワークを再検討し,高度なディープラーニング技術と組み合わせることで両課題に対処する。 まず,大きな格差と非ランバート的課題の背後にある本質的な問題はエイリアシング問題であることを示す。 画像領域でアンチエイリアス処理を行うための代替フレームワークを導入し、エイリアス処理における同等の有効性を解析的に示す。
• 参考スコア（独自算出の注目度）: 51.90655635745856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The light field (LF) reconstruction is mainly confronted with two challenges, large disparity and the non-Lambertian effect. Typical approaches either address the large disparity challenge using depth estimation followed by view synthesis or eschew explicit depth information to enable non-Lambertian rendering, but rarely solve both challenges in a unified framework. In this paper, we revisit the classic LF rendering framework to address both challenges by incorporating it with advanced deep learning techniques. First, we analytically show that the essential issue behind the large disparity and non-Lambertian challenges is the aliasing problem. Classic LF rendering approaches typically mitigate the aliasing with a reconstruction filter in the Fourier domain, which is, however, intractable to implement within a deep learning pipeline. Instead, we introduce an alternative framework to perform anti-aliasing reconstruction in the image domain and analytically show comparable efficacy on the aliasing issue. To explore the full potential, we then embed the anti-aliasing framework into a deep neural network through the design of an integrated architecture and trainable parameters. The network is trained through end-to-end optimization using a peculiar training set, including regular LFs and unstructured LFs. The proposed deep learning pipeline shows a substantial superiority in solving both the large disparity and the non-Lambertian challenges compared with other state-of-the-art approaches. In addition to the view interpolation for an LF, we also show that the proposed pipeline also benefits light field view extrapolation.
• Abstract（参考訳）: 光電場再構成(LF)は主に大きな格差と非ランベルト効果という2つの課題に直面している。 典型的なアプローチは、深度推定を用いた大きな不均一性問題に対処し、続いてビュー合成や明示的な深度情報を抽出して非ランベルトレンダリングを可能にするが、統一されたフレームワークで両方の課題を解決することはめったにない。 本稿では,従来のLFレンダリングフレームワークを再検討し,高度なディープラーニング技術と組み合わせることで両課題に対処する。 まず,大きな格差と非ランバート的課題の背後にある本質的な問題はエイリアシング問題であることを示す。 古典的なLFレンダリングアプローチは、一般的にフーリエ領域の再構成フィルタでエイリアスを緩和するが、ディープラーニングパイプライン内で実装するのは難しそうだ。 代わりに、画像領域でアンチエイリアス化の再構築を行うための代替フレームワークを導入し、エイリアス化問題に匹敵する効果を解析的に示す。 完全な可能性を探るために、統合アーキテクチャとトレーニング可能なパラメータの設計を通じて、アンチエイリアスフレームワークをディープニューラルネットワークに組み込む。 ネットワークは、通常のLFや非構造化LFを含む特別なトレーニングセットを使用して、エンドツーエンドの最適化を通じてトレーニングされる。 提案されたディープラーニングパイプラインは、他の最先端のアプローチと比較して、大きな格差と非ランバート的課題の両方を解決する上で、実質的な優位性を示しています。 LFのビュー補間に加えて,提案したパイプラインは光界ビュー外挿にも有効であることを示す。

関連論文リスト

• Drantal-NeRF: Diffusion-Based Restoration for Anti-aliasing Neural Radiance Field [10.225323718645022]
  Neural Radiance Field (NeRF) が生成したレンダリングにおけるアーティファクトのエイリアス化は、長く続くが複雑な問題である。 拡散を利用した抗エイリアス性神経放射場(Drantal-NeRF)の復元法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T08:32:13Z)
• Diffusion-based Light Field Synthesis [50.24624071354433]
  LFdiffは、LF合成に適した拡散ベースの生成フレームワークである。 本稿では,遠絡型雑音推定ネットワークDistgUnetを提案する。 広範囲な実験により、LFdiffは視覚的に快く、不均一に制御可能な光電場を合成する際に優れていることが示されている。
  論文  参考訳（メタデータ） (2024-02-01T13:13:16Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses [67.01164492518481]
  本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。 本稿では,入力の特徴を包括的に活用できる新しいエンドツーエンド学習手法を提案する。 我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性がある。
  論文  参考訳（メタデータ） (2021-02-14T06:44:47Z)
• Deep Selective Combinatorial Embedding and Consistency Regularization for Light Field Super-resolution [93.95828097088608]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LFサブアパーチャ画像間のコヒーレンスを探索するための,新しい学習ベースLF空間SRフレームワークを提案する。 合成および実世界のLFデータセットに対する実験結果は、最先端手法に対する我々のアプローチの顕著な利点を示している。
  論文  参考訳（メタデータ） (2020-09-26T08:34:37Z)
• Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization [99.96632216070718]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-05T14:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。