論文の概要: Generating Aligned Pseudo-Supervision from Non-Aligned Data for Image Restoration in Under-Display Camera

• arxiv url: http://arxiv.org/abs/2304.06019v1
• Date: Wed, 12 Apr 2023 17:56:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-04-13 13:55:49.265707
• Title: Generating Aligned Pseudo-Supervision from Non-Aligned Data for Image Restoration in Under-Display Camera
• Title（参考訳）: アンダーディスプレイカメラにおける画像復元のための非アライメントデータからのアライメント擬似スーパービジョンの生成
• Authors: Ruicheng Feng, Chongyi Li, Huaijin Chen, Shuai Li, Jinwei Gu, Chen Change Loy
• Abstract要約: トレーニングデータ収集のための古典的なステレオセットアップを再考する -- 同じシーンの2つの画像を1つのUDCと1つの標準カメラでキャプチャする。 鍵となるアイデアは、高品質な参照イメージから詳細を"コピー"し、UDCイメージ上でそれらを"ペースト"することです。 トランスフォーマーベースの新しいフレームワークは、対応するUDC入力に対して、整合性はあるが高品質なターゲットデータを生成する。
• 参考スコア（独自算出の注目度）: 84.41316720913785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the difficulty in collecting large-scale and perfectly aligned paired training data for Under-Display Camera (UDC) image restoration, previous methods resort to monitor-based image systems or simulation-based methods, sacrificing the realness of the data and introducing domain gaps. In this work, we revisit the classic stereo setup for training data collection -- capturing two images of the same scene with one UDC and one standard camera. The key idea is to "copy" details from a high-quality reference image and "paste" them on the UDC image. While being able to generate real training pairs, this setting is susceptible to spatial misalignment due to perspective and depth of field changes. The problem is further compounded by the large domain discrepancy between the UDC and normal images, which is unique to UDC restoration. In this paper, we mitigate the non-trivial domain discrepancy and spatial misalignment through a novel Transformer-based framework that generates well-aligned yet high-quality target data for the corresponding UDC input. This is made possible through two carefully designed components, namely, the Domain Alignment Module (DAM) and Geometric Alignment Module (GAM), which encourage robust and accurate discovery of correspondence between the UDC and normal views. Extensive experiments show that high-quality and well-aligned pseudo UDC training pairs are beneficial for training a robust restoration network. Code and the dataset are available at https://github.com/jnjaby/AlignFormer.
• Abstract（参考訳）: Under-Display Camera (UDC)画像復元のための大規模かつ完全に整合したトレーニングデータの収集が困難であったため、従来の手法では、モニタベースのイメージシステムやシミュレーションベースの手法を採用し、データの現実性を犠牲にし、ドメインギャップを導入していた。 本研究では,データ収集のトレーニングのために,古典的なステレオ設定を再検討する。udcと標準カメラ1台で,同じシーンの2つのイメージをキャプチャする。 重要なアイデアは、高品質な参照イメージから詳細を“コピー”し、udcイメージに“ペースト”することです。 実際のトレーニングペアを生成することができるが、この設定は、視野と視野の変化の深さによる空間的不整合の影響を受けやすい。 この問題は、UDC復元に特有の、UDCと通常の画像との間の大きな領域差によってさらに複雑になる。 本稿では,対応するudc入力に対して,高度に整列した高品質な目標データを生成するトランスフォーマフレームワークを用いて,非自明な領域間不一致と空間的不均衡を緩和する。 これは、ドメインアライメントモジュール(dam)と幾何学アライメントモジュール(gam)という、2つの注意深く設計されたコンポーネントによって実現され、udcと通常のビューの対応を堅牢かつ正確に発見する。 広範な実験により、高品質で整列した疑似udcトレーニングペアが堅牢な修復ネットワークのトレーニングに有用であることが示されている。 コードとデータセットはhttps://github.com/jnjaby/alignformerで入手できる。

関連論文リスト

• Deep Video Restoration for Under-Display Camera [98.17505013737446]
  本稿では,現実的な UDC 劣化過程をシミュレートする GAN ベースの生成パイプラインを提案する。 我々は PexelsUDC という,最初の大規模 UDC ビデオ復元データセットを構築した。 本稿では,動画の劣化を適応的に改善するトランスフォーマーベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-09-09T10:48:06Z)
• Blind Face Restoration for Under-Display Camera via Dictionary Guided Transformer [32.06570655576273]
  Under-Display Camera (UDC)は、前面カメラをディスプレイパネルの下に隠してフルスクリーン体験を提供する。 UDC画像はディスプレイの特性によって著しく画質が劣化する。 UDC-DMNetと呼ばれる2段階のUDC分解モデルネットワークを提案し、UDCイメージングの過程をモデル化してUDC画像を合成する。
  論文  参考訳（メタデータ） (2023-08-20T08:02:23Z)
• Learning Single Image Defocus Deblurring with Misaligned Training Pairs [80.13320797431487]
  単一画像デフォーカスデブロリングのための連成デブロアリングおよびリブロアリング学習フレームワークを提案する。 我々のフレームワークは、定量的メトリクスと視覚的品質の両方の観点から、デフォーカスデブロワーリングネットワークを向上するために適用することができる。
  論文  参考訳（メタデータ） (2022-11-26T07:36:33Z)
• Modular Degradation Simulation and Restoration for Under-Display Camera [21.048590332029995]
  ディスプレイ下カメラ(UDC)はフルスクリーンスマートフォンにエレガントなソリューションを提供する。 UDCが撮影した画像は、センサーがディスプレイの下に置かれているため、深刻な劣化に悩まされている。 UDC画像のシミュレーションにGAN(Generative Adversarial Network)フレームワークを用いたMPGNetと呼ばれるモジュラーネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-23T07:36:07Z)
• UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network [13.406025621307132]
  Under-Display Camera(UDC)は、スマートフォンがフルスクリーンディスプレイを実現するのを助けるために広く利用されている。 スクリーンは必然的に光伝播プロセスに影響を与えるため、UDCシステムによって撮影された画像にはフレア、ヘイズ、ぼかし、ノイズが含まれている。 本稿では、HDRシーンにおける既知のポイントスプレッド機能(PSF)を用いて、UDC画像復元問題に対処する新しいディープモデル、UDC-UNetを提案する。
  論文  参考訳（メタデータ） (2022-09-05T07:41:44Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• Self-supervised Correlation Mining Network for Person Image Generation [9.505343361614928]
  人物画像生成は、ソース画像の非剛性変形を実現することを目的としている。 特徴空間のソース画像を再構成する自己教師付き相関マイニングネットワーク(SCM-Net)を提案する。 クロススケールポーズ変換の忠実度を向上させるために,グラフに基づく身体構造保持損失を提案する。
  論文  参考訳（メタデータ） (2021-11-26T03:57:46Z)
• DSP: Dual Soft-Paste for Unsupervised Domain Adaptive Semantic Segmentation [97.74059510314554]
  セグメンテーションのための教師なしドメイン適応(UDA)は、ラベル付きソースドメインで訓練されたセグメンテーションモデルをラベル付きターゲットドメインに適応させることを目的としている。 既存の手法では、大きなドメインギャップに悩まされながら、ドメイン不変の特徴を学習しようとする。 本稿では,新しいDual Soft-Paste (DSP)法を提案する。
  論文  参考訳（メタデータ） (2021-07-20T16:22:40Z)
• iFAN: Image-Instance Full Alignment Networks for Adaptive Object Detection [48.83883375118966]
  iFANは、イメージレベルとインスタンスレベルの両方で、機能の分散を正確に調整することを目的としている。 ソースのみのベースライン上で10%以上のAPで、最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2020-03-09T13:27:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。