論文の概要: Neural Spline Fields for Burst Image Fusion and Layer Separation

• arxiv url: http://arxiv.org/abs/2312.14235v1
• Date: Thu, 21 Dec 2023 18:54:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 16:59:29.665991
• Title: Neural Spline Fields for Burst Image Fusion and Layer Separation
• Title（参考訳）: バースト画像融合と層分離のための神経スプライン場
• Authors: Ilya Chugunov, David Shustin, Ruyu Yan, Chenyang Lei, Felix Heide
• Abstract要約: ニューラルスプライン場を用いた2層α合成画像とフローモデルを用いた多目的中間表現を提案する。 提案手法では, バースト画像を高分解能な再構成に融合し, 透過層と閉塞層に分解することができる。 後処理のステップや事前学習がないため、当社の一般化可能なモデルは、既存の専用イメージやマルチビューの障害物除去アプローチよりも優れています。
• 参考スコア（独自算出の注目度）: 40.9442467471977
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Each photo in an image burst can be considered a sample of a complex 3D scene: the product of parallax, diffuse and specular materials, scene motion, and illuminant variation. While decomposing all of these effects from a stack of misaligned images is a highly ill-conditioned task, the conventional align-and-merge burst pipeline takes the other extreme: blending them into a single image. In this work, we propose a versatile intermediate representation: a two-layer alpha-composited image plus flow model constructed with neural spline fields -- networks trained to map input coordinates to spline control points. Our method is able to, during test-time optimization, jointly fuse a burst image capture into one high-resolution reconstruction and decompose it into transmission and obstruction layers. Then, by discarding the obstruction layer, we can perform a range of tasks including seeing through occlusions, reflection suppression, and shadow removal. Validated on complex synthetic and in-the-wild captures we find that, with no post-processing steps or learned priors, our generalizable model is able to outperform existing dedicated single-image and multi-view obstruction removal approaches.
• Abstract（参考訳）: 画像バースト内のそれぞれの写真は、パララックス、拡散およびスペクトル材料、シーンモーション、および照度変化の産物である複雑な3Dシーンのサンプルとみなすことができる。 これらすべての効果を、不整合したイメージのスタックから分解することは、非常に不整合なタスクであるが、従来のアライメント・アンド・マージバーストパイプラインは、もう一方の極端、すなわちそれらを単一のイメージに混ぜる。 本研究では,入力座標をスプライン制御点にマッピングするために訓練された,ニューラルネットワークスプラインフィールドを用いた2層アルファ合成画像プラスフローモデルを提案する。 本手法は, テスト時間最適化中にバースト画像キャプチャを1つの高分解能再構成に融合し, 伝達層と妨害層に分解することができる。 そして, 閉塞層を廃棄することにより, 閉塞, 反射抑制, シャドウ除去など, 様々な作業を行うことができる。 複雑な合成画像とインザワイルドキャプチャーで検証した結果、後処理のステップや事前学習がなければ、我々の一般化可能なモデルは、既存の専用画像とマルチビューの障害物除去アプローチより優れていることがわかった。

関連論文リスト

• Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
  本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。 実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。 特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• Collaborative Blind Image Deblurring [15.555393702795076]
  類似のぼかしのパッチを抽出する場合, パッチのスタックを共同処理することで, 別々に処理するよりも精度が高いことを示す。 画像のシャープニング, カメラシェイク除去, 光収差補正の3つの実用的なパッチ抽出手法を提案し, 提案手法を合成および実世界のベンチマークで検証した。
  論文  参考訳（メタデータ） (2023-05-25T13:14:29Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• Single Stage Virtual Try-on via Deformable Attention Flows [51.70606454288168]
  仮想試行は、ショップ内服と基準人物画像が与えられた写真リアルなフィッティング結果を生成することを目的としている。 マルチフロー推定に変形性アテンションスキームを適用した,変形性アテンションフロー(DAFlow)を新たに開発した。 提案手法は,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-07-19T10:01:31Z)
• SVBR-NET: A Non-Blind Spatially Varying Defocus Blur Removal Network [2.4975981795360847]
  本稿では,空間的に異なるカーネルを扱える非盲検画像分解手法を提案する。 本稿では,2つのエンコーダ・デコーダサブネットワークを導入し,ぼやけた画像と推定したぼやけマップで処理する。 ネットワークは、既存のぼかし推定法によって生成されたぼかしマップをエミュレートするために拡張された、合成的にぼかしカーネルで訓練される。
  論文  参考訳（メタデータ） (2022-06-26T17:21:12Z)
• Deep Contrastive Patch-Based Subspace Learning for Camera Image Signal Processing [5.678834480723395]
  我々は、カメラISPを改良し、異質なアーティファクトに対して堅牢なパッチベースのローカルサブスペースディープニューラルネットワークを提案する。 Patch Subspace Learning Autoencoder (PSL-AE) と呼ぶ。 PSL-AEは、コントラスト学習によって、異なるアーティファクトタイプや歪みレベルを持つ、ノイズの多い第2クリーンイメージペアから抽出されたパッチを符号化する。
  論文  参考訳（メタデータ） (2021-04-01T04:40:22Z)
• Light Field View Synthesis via Aperture Disparity and Warping Confidence Map [47.046276641506786]
  本稿では,スパース画像の集合から任意のカメラ位置からビューを合成するための学習的アプローチを提案する。 この新たなビュー合成の鍵となる課題は、異なる入力画像からのビューが光路の障害物のために一貫性がない場合の再構成プロセスから生じる。
  論文  参考訳（メタデータ） (2020-09-07T09:46:01Z)
• Learning to See Through Obstructions with Layered Decomposition [117.77024641706451]
  移動画像から不要な障害を取り除くための学習に基づくアプローチを提案する。 本手法は背景要素と閉塞要素の運動差を利用して両方の層を復元する。 本研究では,合成データから得られた提案手法が実画像に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-08-11T17:59:31Z)
• Learning to See Through Obstructions [117.77024641706451]
  本稿では,移動カメラで撮影した短い画像列から不要な障害物を除去するための学習に基づくアプローチを提案する。 本手法は背景要素と障害物要素の運動差を利用して両方の層を復元する。 合成データ転送のトレーニングは実画像に対して良好であることを示す。
  論文  参考訳（メタデータ） (2020-04-02T17:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。