論文の概要: Spectral Reconstruction and Disparity from Spatio-Spectrally Coded Light Fields via Multi-Task Deep Learning

• arxiv url: http://arxiv.org/abs/2103.10179v1
• Date: Thu, 18 Mar 2021 11:28:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-19 14:00:32.106588
• Title: Spectral Reconstruction and Disparity from Spatio-Spectrally Coded Light Fields via Multi-Task Deep Learning
• Title（参考訳）: マルチタスク深層学習による空間スペクトル符号化光場からのスペクトル再構成と異方性
• Authors: Maximilian Schambach, Jiayang Shi, Michael Heizmann
• Abstract要約: 我々はスペクトル中心ビューとそのマップをスペクトル符号化光場から再構成する。 符号化された光フィールドは、焦点のない設計で光フィールドカメラによって捉えられたものに対応する。 合成光分野と現実光分野の両方において高い復元品質を実現します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel method to reconstruct a spectral central view and its aligned disparity map from spatio-spectrally coded light fields. Since we do not reconstruct an intermediate full light field from the coded measurement, we refer to this as principal reconstruction. The coded light fields correspond to those captured by a light field camera in the unfocused design with a spectrally coded microlens array. In this application, the spectrally coded light field camera can be interpreted as a single-shot spectral depth camera. We investigate several multi-task deep learning methods and propose a new auxiliary loss-based training strategy to enhance the reconstruction performance. The results are evaluated using a synthetic as well as a new real-world spectral light field dataset that we captured using a custom-built camera. The results are compared to state-of-the art compressed sensing reconstruction and disparity estimation. We achieve a high reconstruction quality for both synthetic and real-world coded light fields. The disparity estimation quality is on par with or even outperforms state-of-the-art disparity estimation from uncoded RGB light fields.
• Abstract（参考訳）: 本稿では、スペクトル中心ビューと、スペクトル符号化光場からのアライメントされた不均質マップを再構成する新しい手法を提案する。 我々は、符号化された測定値から中間のフルライトフィールドを再構成しないので、これを主再構成と呼ぶ。 符号化された光場は、スペクトル符号化されたマイクロレンズアレイを備えた非焦点設計の光場カメラが捉えたものに対応する。 このアプリケーションでは、スペクトル符号化された光フィールドカメラを単発の分光深度カメラと解釈することができる。 複数タスクの深層学習手法について検討し、再建性能を高めるための新たな補助的損失に基づくトレーニング戦略を提案する。 結果は、合成と、カスタムのカメラで撮影した新しい現実世界のスペクトル光フィールドデータセットを用いて評価されます。 その結果, 圧縮型センシング再構成と異質度推定とを比較した。 合成光界と実世界の光界の両方において高い再構成品質を達成する。 差分推定品質は、未符号化のRGB光場からの最先端の差分推定に匹敵するか、さらに優れる。

関連論文リスト

• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• Learning Kernel-Modulated Neural Representation for Efficient Light Field Compression [41.24757573290883]
  光場圧縮タスクのためのコンパクトニューラルネットワーク表現を設計する。 トレーニング中に学んだシーン記述情報を格納する記述カーネル(ディスクリプタ)と、クエリされた視点から異なるSAIのレンダリングを制御する変調カーネル(モジュレータ)の2種類で構成されている。
  論文  参考訳（メタデータ） (2023-07-12T12:58:03Z)
• Detail-Preserving Transformer for Light Field Image Super-Resolution [15.53525700552796]
  我々は,光場超解像をシーケンス・ツー・シーケンスの再構成タスクとして扱うことにより,トランスフォーマー上に構築された新しい定式化を行った。 本稿では,光場の勾配マップを利用してシーケンス学習のガイドを行うことにより,ディテール保存型変換器(DPT)を提案する。 DPTは2つのブランチで構成され、それぞれがトランスフォーマーに関連付けられ、オリジナルまたはグラデーション画像シーケンスから学習する。
  論文  参考訳（メタデータ） (2022-01-02T12:33:23Z)
• Learning-Based Practical Light Field Image Compression Using A Disparity-Aware Model [1.5229257192293197]
  本研究では,4次元光場画像の圧縮のための学習型不均一支援モデルを提案する。 モデルはエンドツーエンドのトレーニングが可能で、別のモジュールを手動でチューニングする必要がなくなる。 PSNRとMS-SSIMの指標で比較すると,性能が向上している。
  論文  参考訳（メタデータ） (2021-06-22T06:30:25Z)
• Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications [78.63280020581662]
  スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。 最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
  論文  参考訳（メタデータ） (2021-03-24T08:16:32Z)
• Crowdsampling the Plenoptic Function [56.10020793913216]
  このようなデータから時間変動照明下での新しいビュー合成手法を提案する。 本稿では,新しいDeepMPI表現について紹介する。 本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
  論文  参考訳（メタデータ） (2020-07-30T02:52:10Z)
• Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization [99.96632216070718]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-05T14:39:57Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• Learning Light Field Angular Super-Resolution via a Geometry-Aware Network [101.59693839475783]
  そこで本研究では,広いベースラインを持つスパースサンプリング光場を超解き放つことを目的とした,エンド・ツー・エンドの学習ベースアプローチを提案する。 提案手法は,実行時間48$times$を節約しつつ,2番目のベストメソッドのPSNRを平均2dBまで改善する。
  論文  参考訳（メタデータ） (2020-02-26T02:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。