論文の概要: Deep Selective Combinatorial Embedding and Consistency Regularization for Light Field Super-resolution

• arxiv url: http://arxiv.org/abs/2009.12537v2
• Date: Wed, 6 Oct 2021 08:44:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 09:13:08.734483
• Title: Deep Selective Combinatorial Embedding and Consistency Regularization for Light Field Super-resolution
• Title（参考訳）: 光場超解像のための深部選択的組合せ埋め込みと一貫性規則化
• Authors: Jing Jin and Junhui Hou and Zhiyu Zhu and Jie Chen and Sam Kwong
• Abstract要約: ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LFサブアパーチャ画像間のコヒーレンスを探索するための,新しい学習ベースLF空間SRフレームワークを提案する。 合成および実世界のLFデータセットに対する実験結果は、最先端手法に対する我々のアプローチの顕著な利点を示している。
• 参考スコア（独自算出の注目度）: 93.95828097088608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Light field (LF) images acquired by hand-held devices usually suffer from low spatial resolution as the limited detector resolution has to be shared with the angular dimension. LF spatial super-resolution (SR) thus becomes an indispensable part of the LF camera processing pipeline. The high-dimensionality characteristic and complex geometrical structure of LF images make the problem more challenging than traditional single-image SR. The performance of existing methods is still limited as they fail to thoroughly explore the coherence among LF sub-aperture images (SAIs) and are insufficient in accurately preserving the scene's parallax structure. To tackle this challenge, we propose a novel learning-based LF spatial SR framework. Specifically, each SAI of an LF image is first coarsely and individually super-resolved by exploring the complementary information among SAIs with selective combinatorial geometry embedding. To achieve efficient and effective selection of the complementary information, we propose two novel sub-modules conducted hierarchically: the patch selector provides an option of retrieving similar image patches based on offline disparity estimation to handle large-disparity correlations; and the SAI selector adaptively and flexibly selects the most informative SAIs to improve the embedding efficiency. To preserve the parallax structure among the reconstructed SAIs, we subsequently append a consistency regularization network trained over a structure-aware loss function to refine the parallax relationships over the coarse estimation. In addition, we extend the proposed method to irregular LF data. To the best of our knowledge, this is the first learning-based SR method for irregular LF data. Experimental results over both synthetic and real-world LF datasets demonstrate the significant advantage of our approach over state-of-the-art methods.
• Abstract（参考訳）: ハンドヘルドデバイスによって取得される光電界(lf)画像は、限られた検出器解像度を角次元と共有しなければならないため、通常は低い空間分解能に苦しむ。 したがって、LF空間超解像(SR)はLFカメラ処理パイプラインの必須部分となる。 LF画像の高次元特性と複雑な幾何学構造は、従来の単一像SRよりも難しい。 既存の手法の性能は、lfサブアパーチャ画像(sais)間のコヒーレンスを徹底的に探索できず、シーンのパララックス構造を正確に保存できないため、まだ限られている。 この課題に対処するために,新しい学習ベースLF空間SRフレームワークを提案する。 具体的には、LF画像の各SAIは、選択的な組合せ幾何学的埋め込みを用いてSAI間の相補的な情報を探索することにより、まず粗く個別に超解される。 補間情報の効率的かつ効果的な選択を実現するために, パッチセレクタはオフラインの差分推定に基づいて類似画像パッチを検索するオプションを提供し, SAIセレクタは適応的に, 柔軟に最も情報性の高いSAIを選択し, 埋め込み効率を向上させる。 再構成されたSAI間のパララックス構造を維持するために、構造認識損失関数で訓練された整合性正規化ネットワークを付加し、粗い推定に関するパララックス関係を洗練する。 さらに,提案手法を不規則なLFデータに拡張する。 我々の知る限りでは、不規則なLFデータに対する学習ベースのSR法としてはこれが初めてである。 合成および実世界のLFデータセットに対する実験結果は、最先端手法に対する我々のアプローチの大きな利点を示している。

関連論文リスト

• LFIC-DRASC: Deep Light Field Image Compression Using Disentangled Representation and Asymmetrical Strip Convolution [51.909036244222904]
  ディスタングル表現と非対称ストリップ畳み込みを用いたエンドツーエンドのディープLF画像圧縮法を提案する。 実験の結果,提案したLFIC-DRASCは平均20.5%のビットレート削減を達成した。
  論文  参考訳（メタデータ） (2024-09-18T05:33:42Z)
• Diffusion-based Light Field Synthesis [50.24624071354433]
  LFdiffは、LF合成に適した拡散ベースの生成フレームワークである。 本稿では,遠絡型雑音推定ネットワークDistgUnetを提案する。 広範囲な実験により、LFdiffは視覚的に快く、不均一に制御可能な光電場を合成する際に優れていることが示されている。
  論文  参考訳（メタデータ） (2024-02-01T13:13:16Z)
• LFSRDiff: Light Field Image Super-Resolution via Diffusion Models [18.20217829625834]
  光電場(LF)画像超解像(SR)は、固有の不適切な性質のため難しい問題である。 主流のLF画像SR法は、一般的に決定論的アプローチを採用し、ピクセル単位の損失関数によって制御される1つの出力しか生成しない。 本稿では,最初の拡散型LF画像SRモデルであるLPSRDiffを紹介する。
  論文  参考訳（メタデータ） (2023-11-27T07:31:12Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• Physics-Informed Ensemble Representation for Light-Field Image Super-Resolution [12.156009287223382]
  我々は、光場(LF)撮像プロセスの座標変換を分析し、LF画像の幾何学的関係を明らかにする。 我々は,仮想スリット画像(VSI)の新たなLF部分空間を導入し,サブアパーチャ画像に補完するサブピクセル情報を提供する。 アンサンプされたLFデータから画像構造を超解き出すために,EPIXformer という幾何認識デコーダを提案する。
  論文  参考訳（メタデータ） (2023-05-31T16:27:00Z)
• Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses [67.01164492518481]
  本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。 本稿では,入力の特徴を包括的に活用できる新しいエンドツーエンド学習手法を提案する。 我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性がある。
  論文  参考訳（メタデータ） (2021-02-14T06:44:47Z)
• Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization [99.96632216070718]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-05T14:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。