論文の概要: Learning Light Field Angular Super-Resolution via a Geometry-Aware
Network
- arxiv url: http://arxiv.org/abs/2002.11263v1
- Date: Wed, 26 Feb 2020 02:36:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 15:09:19.348140
- Title: Learning Light Field Angular Super-Resolution via a Geometry-Aware
Network
- Title(参考訳): 幾何認識ネットワークによる光場角超解法学習
- Authors: Jing Jin and Junhui Hou and Hui Yuan and Sam Kwong
- Abstract要約: そこで本研究では,広いベースラインを持つスパースサンプリング光場を超解き放つことを目的とした,エンド・ツー・エンドの学習ベースアプローチを提案する。
提案手法は,実行時間48$times$を節約しつつ,2番目のベストメソッドのPSNRを平均2dBまで改善する。
- 参考スコア(独自算出の注目度): 101.59693839475783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The acquisition of light field images with high angular resolution is costly.
Although many methods have been proposed to improve the angular resolution of a
sparsely-sampled light field, they always focus on the light field with a small
baseline, which is captured by a consumer light field camera. By making full
use of the intrinsic \textit{geometry} information of light fields, in this
paper we propose an end-to-end learning-based approach aiming at angularly
super-resolving a sparsely-sampled light field with a large baseline. Our model
consists of two learnable modules and a physically-based module. Specifically,
it includes a depth estimation module for explicitly modeling the scene
geometry, a physically-based warping for novel views synthesis, and a light
field blending module specifically designed for light field reconstruction.
Moreover, we introduce a novel loss function to promote the preservation of the
light field parallax structure. Experimental results over various light field
datasets including large baseline light field images demonstrate the
significant superiority of our method when compared with state-of-the-art ones,
i.e., our method improves the PSNR of the second best method up to 2 dB in
average, while saves the execution time 48$\times$. In addition, our method
preserves the light field parallax structure better.
- Abstract(参考訳): 高い角分解能のライトフィールド画像の取得はコストがかかる。
狭帯域光界の角分解能を改善するために多くの方法が提案されているが、常に小型の光界カメラで捉えた小さなベースラインを持つ光界に焦点を合わせている。
本稿では,光フィールドの固有値であるtextit{geometry}情報をフル活用することにより,広いベースラインを持つ狭帯域光フィールドを斜めに超解するエンド・ツー・エンドの学習ベースアプローチを提案する。
我々のモデルは2つの学習可能なモジュールと物理ベースのモジュールから構成される。
具体的には、シーン幾何学を明示的にモデル化する深度推定モジュール、新規なビュー合成のための物理ベースのワーピング、光フィールド再構成用に特別に設計された光フィールドブレンディングモジュールを含む。
さらに,光電場パララックス構造の保存を促進するために,新たな損失関数を導入する。
大規模光フィールド画像を含む様々な光フィールドデータセットに対する実験結果から,提案手法を最先端の手法と比較した場合,すなわち,平均2dBまでのPSNRを改善するとともに,実行時間を48$\times$に短縮する。
さらに,光電界パララックス構造をよりよく保存する手法を提案する。
関連論文リスト
- Light Field Spatial Resolution Enhancement Framework [0.24578723416255746]
解像度向上のための新しい光場フレームワークを提案する。
第1モジュールは高解像度のオールインフォーカス画像を生成する。
第2のモジュール、テクスチャ・トランスフォーマー・ネットワークは、各光界視点の分解能を独立して向上させる。
論文 参考訳(メタデータ) (2024-05-05T02:07:10Z) - Unsupervised Learning of High-resolution Light Field Imaging via Beam
Splitter-based Hybrid Lenses [42.5604477188514]
ビームスプリッタを用いたハイブリッド光フィールドイメージングプロトタイプを設計し、4次元光フィールド画像と高分解能2次元画像とを同時に記録する。
2次元画像は、4次元光場画像の低分解能中心部分開口像に対応する高分解能基底真理とみなすことができる。
ハイブリッド光場データセットを用いた教師なし学習に基づく超解像フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-29T10:30:02Z) - Learning based Deep Disentangling Light Field Reconstruction and
Disparity Estimation Application [1.5603081929496316]
本稿では,光電界拡散機構の原理を継承し,高度なネットワーク構造を付加するDeep Disentangling Mechanismを提案する。
本研究では,DDASR(Deep Disentangling Mechanism)に基づく光電場再構成ネットワークを設計し,実験においてSOTAの性能を実現する。
論文 参考訳(メタデータ) (2023-11-14T12:48:17Z) - Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic Segmentation [48.828453331724965]
我々は,Omni-Aperture Fusion Model (OAFuser) を提案する。
提案したOAFuserは,すべての評価指標から4つのUrbanLFデータセット上での最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-07-28T14:43:27Z) - Learning Texture Transformer Network for Light Field Super-Resolution [1.5469452301122173]
変換器ネットワーク(TTSR)を利用した光画像の空間分解能向上手法を提案する。
その結果,2次元の光場画像より約4dBから6dBのPSNRゲインが得られた。
論文 参考訳(メタデータ) (2022-10-09T15:16:07Z) - Light Field Reconstruction Using Convolutional Network on EPI and
Extended Applications [78.63280020581662]
スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。
最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
論文 参考訳(メタデータ) (2021-03-24T08:16:32Z) - A learning-based view extrapolation method for axial super-resolution [52.748944517480155]
軸光界分解能は、再焦点によって異なる深さで特徴を区別する能力を指します。
せん断エピポーラ平面画像の軸体積から新しい視点を推定する学習に基づく手法を提案する。
論文 参考訳(メタデータ) (2021-03-11T07:22:13Z) - Light Field Spatial Super-resolution via Deep Combinatorial Geometry
Embedding and Structural Consistency Regularization [99.96632216070718]
ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。
LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。
本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
論文 参考訳(メタデータ) (2020-04-05T14:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。