論文の概要: LDP: Language-driven Dual-Pixel Image Defocus Deblurring Network

• arxiv url: http://arxiv.org/abs/2307.09815v1
• Date: Wed, 19 Jul 2023 08:03:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 14:58:00.664587
• Title: LDP: Language-driven Dual-Pixel Image Defocus Deblurring Network
• Title（参考訳）: ldp: 言語駆動型デュアルピクセル画像デフォーカスデブラリングネットワーク
• Authors: Hao Yang, Liyuan Pan, Yan Yang, Miaomiao Liu,
• Abstract要約: 対照的な言語画像事前学習フレームワーク(CLIP)を導入し,DPペアからの正確なボケマップ推定を実現する。 提案手法は,広範囲な実験において最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 33.34744058876371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering sharp images from dual-pixel (DP) pairs with disparity-dependent blur is a challenging task.~Existing blur map-based deblurring methods have demonstrated promising results. In this paper, we propose, to the best of our knowledge, the first framework to introduce the contrastive language-image pre-training framework (CLIP) to achieve accurate blur map estimation from DP pairs unsupervisedly. To this end, we first carefully design text prompts to enable CLIP to understand blur-related geometric prior knowledge from the DP pair. Then, we propose a format to input stereo DP pair to the CLIP without any fine-tuning, where the CLIP is pre-trained on monocular images. Given the estimated blur map, we introduce a blur-prior attention block, a blur-weighting loss and a blur-aware loss to recover the all-in-focus image. Our method achieves state-of-the-art performance in extensive experiments.
• Abstract（参考訳）: 両画素(DP)ペアから鮮明な画像と不透明度に依存したぼやけを復元することは難しい課題である。 既存のぼやけた地図に基づくデブラリング手法は有望な結果を示している。 本稿では,我々の知識を最大限に活用し,対照言語画像事前学習フレームワーク(clip)を導入した最初のフレームワークを提案する。 この目的のために,まずテキストプロンプトを慎重に設計し,クリップがdpペアからぼやけに関連した幾何学的事前知識を理解できるようにする。 そこで我々は,CLIPが単眼画像上で事前学習されるような微調整をせずに,ステレオDPペアをCLIPに入力する方式を提案する。 推定されたぼかしマップを考えると、ぼかし優先注意ブロック、ぼかし強調損失、ぼかし認識損失を導入し、全フォーカス画像の復元を行う。 本手法は広範な実験で最先端の性能を実現する。

関連論文リスト

• Iterative Prompt Learning for Unsupervised Backlit Image Enhancement [86.90993077000789]
  そこで本研究では,CLIP-LITと略称される,非教師なしのバックライト画像強調手法を提案する。 オープンワールドのCLIPはバックライト画像と well-lit 画像の区別に有効であることを示す。 提案手法は,学習フレームワークの更新と,学習結果を視覚的に満足するまでのネットワークの強化を交互に行う。
  論文  参考訳（メタデータ） (2023-03-30T17:37:14Z)
• Unsupervised Light Field Depth Estimation via Multi-view Feature Matching with Occlusion Prediction [15.421219881815956]
  監督訓練に十分な深度ラベルを得ることは費用がかかる。 本稿では,LF画像から深度を推定するための教師なしフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-20T06:11:17Z)
• Learning Single Image Defocus Deblurring with Misaligned Training Pairs [80.13320797431487]
  単一画像デフォーカスデブロリングのための連成デブロアリングおよびリブロアリング学習フレームワークを提案する。 我々のフレームワークは、定量的メトリクスと視覚的品質の両方の観点から、デフォーカスデブロワーリングネットワークを向上するために適用することができる。
  論文  参考訳（メタデータ） (2022-11-26T07:36:33Z)
• SVBR-NET: A Non-Blind Spatially Varying Defocus Blur Removal Network [2.4975981795360847]
  本稿では,空間的に異なるカーネルを扱える非盲検画像分解手法を提案する。 本稿では,2つのエンコーダ・デコーダサブネットワークを導入し,ぼやけた画像と推定したぼやけマップで処理する。 ネットワークは、既存のぼかし推定法によって生成されたぼかしマップをエミュレートするために拡張された、合成的にぼかしカーネルで訓練される。
  論文  参考訳（メタデータ） (2022-06-26T17:21:12Z)
• CP2: Copy-Paste Contrastive Pretraining for Semantic Segmentation [16.082155440640964]
  CP2(Copy-Paste Contrastive Pretraining)と呼ばれる画素単位のコントラスト学習手法を提案する。 詳細は、画像(前景)から異なる背景画像にランダムな作物をコピー・ペーストし、意味的セグメンテーションモデルを事前訓練する。 実験では、下流セマンティックセグメンテーションにおけるCP2の強い性能を示す。
  論文  参考訳（メタデータ） (2022-03-22T13:21:49Z)
• Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps [85.67745220834718]
  不規則な穴の画像インペインティングを改善するためのエッジガイド学習可能な双方向注意マップ(Edge-LBAM)を紹介します。 当社のEdge-LBAMメソッドには、予測エッジによる構造認識マスク更新を含むデュアルプロシージャが含まれています。 広範な実験により,エッジlbamはコヒーレントな画像構造を生成し,色差やぼやけを防止できることがわかった。
  論文  参考訳（メタデータ） (2021-04-25T07:25:16Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)
• Deblurring by Realistic Blurring [110.54173799114785]
  本稿では,BGAN(Learning-to-blurr GAN)とDBGAN(Learning-to-DeBlur GAN)の2つのモデルを組み合わせた新しい手法を提案する。 第1のモデルであるBGANは、未ペアのシャープでぼやけた画像セットでシャープな画像をぼやかす方法を学習し、第2のモデルであるDBGANをガイドして、そのような画像を正しくデブロアする方法を学ぶ。 さらなる貢献として,多様なぼやけた画像を含むRWBIデータセットについても紹介する。
  論文  参考訳（メタデータ） (2020-04-04T05:25:15Z)
• Self-Supervised Linear Motion Deblurring [112.75317069916579]
  深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。 本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。 我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
  論文  参考訳（メタデータ） (2020-02-10T20:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。