論文の概要: Learning Dynamic Interpolation for Extremely Sparse Light Fields with Wide Baselines

• arxiv url: http://arxiv.org/abs/2108.07408v2
• Date: Wed, 18 Aug 2021 12:29:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 12:14:21.891992
• Title: Learning Dynamic Interpolation for Extremely Sparse Light Fields with Wide Baselines
• Title（参考訳）: 広いベースラインを持つ極小光場に対する動的補間学習
• Authors: Mantang Guo, Jing Jin, Hui Liu, Junhui Hou
• Abstract要約: 本稿では、一般的な幾何学的ワープ操作を置き換えるための学習可能なモデル、すなわち動的再構成を提案する。 実験の結果,再建したLF重みはPSNR/SSIMよりもはるかに高い値を示し,LFパララックス構造は最先端の手法よりも良好であることがわかった。
• 参考スコア（独自算出の注目度）: 42.59723383219793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we tackle the problem of dense light field (LF) reconstruction from sparsely-sampled ones with wide baselines and propose a learnable model, namely dynamic interpolation, to replace the commonly-used geometry warping operation. Specifically, with the estimated geometric relation between input views, we first construct a lightweight neural network to dynamically learn weights for interpolating neighbouring pixels from input views to synthesize each pixel of novel views independently. In contrast to the fixed and content-independent weights employed in the geometry warping operation, the learned interpolation weights implicitly incorporate the correspondences between the source and novel views and adapt to different image content information. Then, we recover the spatial correlation between the independently synthesized pixels of each novel view by referring to that of input views using a geometry-based spatial refinement module. We also constrain the angular correlation between the novel views through a disparity-oriented LF structure loss. Experimental results on LF datasets with wide baselines show that the reconstructed LFs achieve much higher PSNR/SSIM and preserve the LF parallax structure better than state-of-the-art methods. The source code is publicly available at https://github.com/MantangGuo/DI4SLF.
• Abstract（参考訳）: 本稿では,スライスサンプリングされた物体をベースラインとする密集光場(lf)再構成の問題に対処し,よく使われる幾何変形操作を置き換えるための学習可能なモデル,すなわち動的補間を提案する。 具体的には、入力ビュー間の幾何学的関係を推定することにより、まず、隣接画素を入力ビューから補間するための重みを動的に学習し、新規ビューの各画素を独立に合成する軽量ニューラルネットワークを構築する。 幾何ウォーピング操作で用いられる固定重みとコンテンツ非依存重みとは対照的に、学習された補間重みは、ソースと新規ビューの対応を暗黙的に取り込み、異なる画像コンテンツ情報に適応させる。 そして、幾何学に基づく空間精錬モジュールを用いて、各新規ビューの独立に合成された画素間の空間的相関を入力ビューのそれを参照して復元する。 また,不均質指向のLF構造損失により,新しい視点間の角度相関を制約する。 広いベースラインを持つLFデータセットの実験結果から、再構成されたLFはPSNR/SSIMよりもはるかに高い精度を実現し、最先端の手法よりもLFパララックス構造を保存できることが示されている。 ソースコードはhttps://github.com/MantangGuo/DI4SLFで公開されている。

関連論文リスト

• Physics-Informed Ensemble Representation for Light-Field Image Super-Resolution [12.156009287223382]
  我々は、光場(LF)撮像プロセスの座標変換を分析し、LF画像の幾何学的関係を明らかにする。 我々は,仮想スリット画像(VSI)の新たなLF部分空間を導入し,サブアパーチャ画像に補完するサブピクセル情報を提供する。 アンサンプされたLFデータから画像構造を超解き出すために,EPIXformer という幾何認識デコーダを提案する。
  論文  参考訳（メタデータ） (2023-05-31T16:27:00Z)
• Explicit Correspondence Matching for Generalizable Neural Radiance Fields [49.49773108695526]
  本稿では,新たな未知のシナリオに一般化し,2つのソースビューで新規なビュー合成を行う新しいNeRF手法を提案する。 明瞭な対応マッチングは、異なるビュー上の3Dポイントの2次元投影でサンプリングされた画像特徴間のコサイン類似度と定量化される。 実験では,実験結果から得られたコサイン特徴の類似性と体積密度との間に強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-04-24T17:46:01Z)
• Learning Non-Local Spatial-Angular Correlation for Light Field Image Super-Resolution [36.69391399634076]
  光場(LF)画像超解像(SR)には空間-角相関の爆発が不可欠である LF画像SRの非局所的空間角相関を学習するための簡易かつ効果的な手法を提案する。 提案手法は,全角視からの情報を完全に取り入れつつ,極上線に沿った大域的受容場を達成できる。
  論文  参考訳（メタデータ） (2023-02-16T03:40:40Z)
• RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning [62.86400614141706]
  我々はRecRecNet(Rectangling Rectification Network)という新しい学習モデルを提案する。 我々のモデルは、ソース構造をターゲット領域に柔軟にワープし、エンドツーエンドの非教師なし変形を実現する。 実験により, 定量評価と定性評価の両面において, 比較法よりも解法の方が優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-04T15:12:57Z)
• PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis [52.546998369121354]
  シングルビューRGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFを提案する。 本稿では,明示的な幾何学的推論を取り入れ,放射場予測のための画素アラインな特徴と組み合わせることを提案する。 このような幾何学的特徴の導入は、外観と幾何学の絡み合いを改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-10T07:39:47Z)
• Content-aware Warping for View Synthesis [110.54435867693203]
  本稿では,比較的大きな近傍の画素の重みを,軽量ニューラルネットワークによる文脈情報から適応的に学習するコンテンツ認識ワープを提案する。 この学習可能なワープモジュールに基づいて、2つのソースビューから新しいビューを合成するエンド・ツー・エンドの学習ベースのフレームワークを提案する。 広いベースラインと非構造的多視点データセットを有する構造的光フィールドデータセットの実験結果から,提案手法は,定量的かつ視覚的に,最先端の手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2022-01-22T11:35:05Z)
• EPI-based Oriented Relation Networks for Light Field Depth Estimation [13.120247042876175]
  水平および垂直のエピポーラ平面画像(EPI)上の交点の深さ値を推定するために、終端から終端までの完全畳み込みネットワーク(FCN)を提案する。 本稿では,線方向関係を構成するORM(Oriented Relation Module)と呼ばれる新しい特徴抽出モジュールを提案する。 トレーニングを容易にするため,同じシーンポイントのEPIから異なる傾斜を求めるために,リフォーカスに基づくデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2020-07-09T03:39:09Z)
• Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization [99.96632216070718]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-05T14:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。