論文の概要: Leveraging Inpainting for Single-Image Shadow Removal

• arxiv url: http://arxiv.org/abs/2302.05361v1
• Date: Fri, 10 Feb 2023 16:21:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 15:26:51.622544
• Title: Leveraging Inpainting for Single-Image Shadow Removal
• Title（参考訳）: 単画像シャドウ除去のためのレバレッジインペインティング
• Authors: Xiaoguang Li, Qing Guo, Rabab Abdelfattah, Di Lin, Wei Feng, Ivor Tsang, Song Wang
• Abstract要約: 本研究では,画像インペイントデータセットにおける影除去ネットワークの事前学習により,影の残差を著しく低減できることを示す。 単純エンコーダ・デコーダネットワークは、10%のシャドウとシャドウフリーの画像ペアで、最先端の手法で競合する復元品質を得る。 影の除去と画像の塗装を活かすために,影誘導塗装作業として影の除去を定式化する。
• 参考スコア（独自算出の注目度）: 22.601985480794777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fully-supervised shadow removal methods achieve top restoration qualities on public datasets but still generate some shadow remnants. One of the reasons is the lack of large-scale shadow & shadow-free image pairs. Unsupervised methods can alleviate the issue but their restoration qualities are much lower than those of fully-supervised methods. In this work, we find that pretraining shadow removal networks on the image inpainting dataset can reduce the shadow remnants significantly: a naive encoder-decoder network gets competitive restoration quality w.r.t. the state-of-the-art methods via only 10% shadow & shadow-free image pairs. We further analyze the difference between networks with/without inpainting pretraining and observe that: inpainting pretraining enhances networks' capability of filling missed semantic information; shadow removal fine-tuning makes the networks know how to fill details of the shadow regions. Inspired by the above observations, we formulate shadow removal as a shadow-guided inpainting task to take advantage of the shadow removal and image inpainting. Specifically, we build a shadow-informed dynamic filtering network with two branches: the image inpainting branch takes the shadow-masked image as input while the second branch takes the shadow image as input and is to estimate dynamic kernels and offsets for the first branch to provide missing semantic information and details. The extensive experiments show that our method empowered with inpainting outperforms all state-of-the-art methods.
• Abstract（参考訳）: 完全な教師付きシャドウ除去手法は、パブリックデータセットで最高の修復品質を達成しますが、シャドウ残差は発生します。 理由の1つは、大規模なシャドウとシャドウフリーの画像ペアがないことである。 教師なしの方法は問題を緩和できるが、その修復性は教師なしの方法よりもはるかに低い。 本研究では,画像インペインティングデータセット上の事前トレーニングされたシャドウ除去ネットワークにより,シャドウ残差を著しく低減できることを見出した。 さらに,事前学習を必要とせずに,ネットワーク間の差異を分析し,事前学習を施すことにより,欠落したセマンティック情報を補うネットワークの能力が向上し,シャドー除去の微調整により,ネットワークがシャドー領域の詳細を補う方法を知ることができる。 上記の観測から着想を得た陰影除去は,陰影除去と画像塗布を生かした陰影誘導塗装作業として定式化した。 具体的には,2つのブランチからなる動的フィルタネットワークを構築した。画像インペイントブランチはシャドウマップイメージを入力とし,第2ブランチはシャドウイメージを入力とし,第1ブランチの動的カーネルとオフセットを推定し,不足するセマンティック情報と詳細を提供する。 広範にわたる実験により,本手法はすべての最先端手法よりも優れた性能を示した。

関連論文リスト

• Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
  影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。 影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。 この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
  論文  参考訳（メタデータ） (2024-07-11T20:58:38Z)
• Progressive Recurrent Network for Shadow Removal [99.1928825224358]
  シングルイメージのシャドー削除は、まだ解決されていない重要なタスクである。 既存のディープラーニングベースのアプローチのほとんどは、シャドウを直接削除しようとするが、シャドウをうまく扱えない。 本稿では,影を段階的に除去する簡易かつ効果的なプログレッシブ・リカレント・ネットワーク(PRNet)を提案する。
  論文  参考訳（メタデータ） (2023-11-01T11:42:45Z)
• Learning Restoration is Not Enough: Transfering Identical Mapping for Single-Image Shadow Removal [19.391619888009064]
  最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。 2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。 本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
  論文  参考訳（メタデータ） (2023-05-18T01:36:23Z)
• ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document Shadow Removal [53.01990632289937]
  本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。 シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
  論文  参考訳（メタデータ） (2022-11-30T01:46:29Z)
• SpA-Former: Transformer image shadow detection and removal via spatial attention [8.643096072885909]
  シャドウフリー画像を単一の陰影画像から復元するエンド・ツー・エンドのSpA-Formerを提案する。 シャドー検出とシャドー除去の2つのステップを必要とする従来の方法とは異なり、SpA-Formerはこれらのステップを1つに統合する。
  論文  参考訳（メタデータ） (2022-06-22T08:30:22Z)
• Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
  シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。 我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。 我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
  論文  参考訳（メタデータ） (2022-05-10T14:00:48Z)
• R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
  現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。 本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。 提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-09-20T15:09:22Z)
• Auto-Exposure Fusion for Single-Image Shadow Removal [23.178329688546032]
  シャドウ除去は、固有の背景依存性と空間変動特性のために、まだ困難な作業です。 最先端のディープニューラルネットワークでさえ、トレースレスのシャドウ除去された背景をほとんど回復できない。 本論文では, 課題解決のために, 露光融合問題として定式化することで, 新たなソリューションを提案する。
  論文  参考訳（メタデータ） (2021-03-01T19:09:26Z)
• Physics-based Shadow Image Decomposition for Shadow Removal [36.41558227710456]
  陰影除去のための新しい深層学習法を提案する。 影形成の物理モデルにインスパイアされ、線形照明変換を用いて画像内の影効果をモデル化する。 最も困難なシャドウ除去データセットでフレームワークをトレーニングし、テストします。
  論文  参考訳（メタデータ） (2020-12-23T23:06:38Z)
• Self-Supervised Shadow Removal [130.6657167667636]
  条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。 既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
  論文  参考訳（メタデータ） (2020-10-22T11:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。