論文の概要: Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications

• arxiv url: http://arxiv.org/abs/2103.13043v1
• Date: Wed, 24 Mar 2021 08:16:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 13:50:45.296667
• Title: Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications
• Title（参考訳）: EPI上の畳み込みネットワークを用いた光電界再構成と拡張応用
• Authors: Gaochang Wu, Yebin Liu, Lu Fang, Qionghai Dai, Tianyou Chai
• Abstract要約: スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。 最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
• 参考スコア（独自算出の注目度）: 78.63280020581662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, a novel convolutional neural network (CNN)-based framework is developed for light field reconstruction from a sparse set of views. We indicate that the reconstruction can be efficiently modeled as angular restoration on an epipolar plane image (EPI). The main problem in direct reconstruction on the EPI involves an information asymmetry between the spatial and angular dimensions, where the detailed portion in the angular dimensions is damaged by undersampling. Directly upsampling or super-resolving the light field in the angular dimensions causes ghosting effects. To suppress these ghosting effects, we contribute a novel "blur-restoration-deblur" framework. First, the "blur" step is applied to extract the low-frequency components of the light field in the spatial dimensions by convolving each EPI slice with a selected blur kernel. Then, the "restoration" step is implemented by a CNN, which is trained to restore the angular details of the EPI. Finally, we use a non-blind "deblur" operation to recover the spatial high frequencies suppressed by the EPI blur. We evaluate our approach on several datasets, including synthetic scenes, real-world scenes and challenging microscope light field data. We demonstrate the high performance and robustness of the proposed framework compared with state-of-the-art algorithms. We further show extended applications, including depth enhancement and interpolation for unstructured input. More importantly, a novel rendering approach is presented by combining the proposed framework and depth information to handle large disparities.
• Abstract（参考訳）: 本稿では,光場再構成のための新しい畳み込みニューラルネットワーク(CNN)を用いたフレームワークについて述べる。 エピポーラ平面画像(EPI)の角再生を効率的にモデル化できることが示唆された。 EPIの直接再構成の主な問題は、空間次元と角次元の間の情報非対称性であり、角次元の詳細な部分がアンダーサンプリングによって損傷される。 角次元の光場を直接上降させるか超解くとゴースト効果が生じる。 これらのゴースト効果を抑制するため,我々は新しい「ブラインド修復-デブラル」フレームワークを提案する。 まず、各EPIスライスを選択されたぼかしカーネルで連結することにより、空間次元における光場の低周波成分を抽出する「青」ステップを適用する。 次に、"修復"ステップはcnnによって実装され、epiの角の詳細を復元するように訓練される。 最後に,EPIのぼかしによって抑制された空間的高周波数を回復するために,非盲検の"deblur"操作を用いる。 本研究では,合成シーン,実世界シーン,挑戦的な顕微鏡光フィールドデータなど,いくつかのデータセットに対するアプローチを評価した。 本稿では,最先端アルゴリズムと比較して,提案フレームワークの性能と頑健性を示す。 さらに,非構造入力に対する深度向上と補間を含む拡張された応用を示す。 さらに重要なことに,提案手法と奥行き情報を組み合わせた新しいレンダリング手法が提案されている。

関連論文リスト

• RISE-SDF: a Relightable Information-Shared Signed Distance Field for Glossy Object Inverse Rendering [26.988572852463815]
  本稿では,新しいエンド・ツー・エンド・エンド・リライトブル・ニューラル・リバース・レンダリングシステムを提案する。 本アルゴリズムは,逆レンダリングとリライトにおける最先端性能を実現する。 実験により, 逆レンダリングおよびリライティングにおける最先端性能が得られた。
  論文  参考訳（メタデータ） (2024-09-30T09:42:10Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• A Deep Learning Approach for SAR Tomographic Imaging of Forested Areas [10.477070348391079]
  我々は,1つのフィードフォワードパスでトモグラフィインバージョンを実行するために,軽量ニューラルネットワークをトレーニング可能であることを示す。 我々は、シミュレーションデータを用いてエンコーダ・デコーダネットワークを訓練し、実LバンドとPバンドのデータに基づいてその手法を検証する。
  論文  参考訳（メタデータ） (2023-01-20T14:34:03Z)
• Geo-NI: Geometry-aware Neural Interpolation for Light Field Rendering [57.775678643512435]
  光場レンダリングのためのGeo-NI(Geometry-aware Neural Interpolation)フレームワークを提案する。 NIとDIBRの優位性を組み合わせることで、提案したGeo-NIは、大きな差異でビューをレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-06-20T12:25:34Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)
• Deep Sparse Light Field Refocusing [35.796798137910066]
  現在の方法は、この目的のために、角度ビューの高密度な場を必要とする。 本稿では,ニューラルネットワークを用いた狭角情報に基づく新しいディジタル再焦点方式を提案する。
  論文  参考訳（メタデータ） (2020-09-05T18:34:55Z)
• Spatial-Angular Attention Network for Light Field Reconstruction [64.27343801968226]
  非局所的な光場における対応を知覚する空間角アテンションネットワークを提案する。 非局所的なアテンション機構により、光界の各画素に対するエピポーラ面の全ての位置からの応答を計算するために、空間角アテンションモジュールが導入された。 次に,低空間スケールでの非局所的注意を効果的に実装するためのマルチスケール再構成構造を提案する。
  論文  参考訳（メタデータ） (2020-07-05T06:55:29Z)
• High-Order Residual Network for Light Field Super-Resolution [39.93400777363467]
  可視光カメラは通常、異なる視点から情報を取得するために、SAIの空間分解能を犠牲にする。 そこで本稿では,光場から階層的に幾何学的特徴を学習するための新しい高次残差ネットワークを提案する。 提案手法は,挑戦的領域においても高品質な再構成が可能であり,定量化と視覚的評価の両面から,最先端の単一画像やLF再構成よりも優れる。
  論文  参考訳（メタデータ） (2020-03-29T18:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。