論文の概要: Both Spatial and Frequency Cues Contribute to High-Fidelity Image Inpainting

• arxiv url: http://arxiv.org/abs/2307.07678v1
• Date: Sat, 15 Jul 2023 01:52:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 18:37:46.259319
• Title: Both Spatial and Frequency Cues Contribute to High-Fidelity Image Inpainting
• Title（参考訳）: 空間的および周波数的手がかりが高忠実度画像インパインティングに寄与する
• Authors: Ze Lu, Yalei Lv, Wenqi Wang, Pengfei Xiong
• Abstract要約: 深部生成的アプローチは、近年、画像の塗布において大きな成功を収めている。 ほとんどの生成的塗布ネットワークは、過度に滑らかな結果か、アーティファクトのエイリアスに悩まされている。 本研究では、空間領域と周波数領域の両方において、リッチな意味情報を活用することで、周波数空間補間ネットワーク(FSCN)を提案する。
• 参考スコア（独自算出の注目度）: 9.080472817672263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep generative approaches have obtained great success in image inpainting recently. However, most generative inpainting networks suffer from either over-smooth results or aliasing artifacts. The former lacks high-frequency details, while the latter lacks semantic structure. To address this issue, we propose an effective Frequency-Spatial Complementary Network (FSCN) by exploiting rich semantic information in both spatial and frequency domains. Specifically, we introduce an extra Frequency Branch and Frequency Loss on the spatial-based network to impose direct supervision on the frequency information, and propose a Frequency-Spatial Cross-Attention Block (FSCAB) to fuse multi-domain features and combine the corresponding characteristics. With our FSCAB, the inpainting network is capable of capturing frequency information and preserving visual consistency simultaneously. Extensive quantitative and qualitative experiments demonstrate that our inpainting network can effectively achieve superior results, outperforming previous state-of-the-art approaches with significantly fewer parameters and less computation cost. The code will be released soon.
• Abstract（参考訳）: ディープジェネレーティブなアプローチは、近年、イメージインペインティングで大きな成功を収めています。 しかし、ほとんどの生成的インペインティングネットワークは、過剰なスムース結果またはエイリアスアーチファクトに苦しむ。 前者は高周波の詳細を欠いているが、後者は意味構造を欠いている。 この問題に対処するために、空間領域と周波数領域の両方でリッチな意味情報を活用して、周波数空間補間ネットワーク(FSCN)を提案する。 具体的には、空間的ネットワーク上に周波数分岐と周波数損失を余分に導入し、周波数情報を直接監視し、マルチドメインの特徴を融合させ、対応する特徴を組み合わせるために周波数空間横断遮断(FSCAB)を提案する。 当社のFSCABでは、インパインティングネットワークは周波数情報をキャプチャし、同時に視覚的一貫性を保つことができる。 大規模な定量的および定性的な実験により、我々の塗装ネットワークは、パラメータを著しく少なく、計算コストを少なくして、従来の最先端のアプローチよりも優れた結果が得られることを示した。 コードはまもなくリリースされる。

関連論文リスト

• Exploiting Frequency Correlation for Hyperspectral Image Reconstruction [21.71115793248267]
  ハイパースペクトル画像 (HSI) 再構成における強力な手法として, 深層前駆体が出現している。 本稿では,既存のHSIデータセットの詳細な統計周波数解析に先立って,HFC(Hyperspectral Frequency correlation)を提案する。 次に、周波数のスペクトル的自己注意(SAF)と周波数のスペクトル的空間的相互作用(SIF)からなる周波数領域学習を確立する。
  論文  参考訳（メタデータ） (2024-06-02T09:36:37Z)
• FDCE-Net: Underwater Image Enhancement with Embedding Frequency and Dual Color Encoder [49.79611204954311]
  水中画像は、低明度、色の変化、ぼやけた詳細、吸光光によるノイズ、水や懸濁粒子による散乱などの様々な問題に悩まされることが多い。 従来の水中画像強調法(UIE)は主に空間領域の強調に焦点を当てており、画像固有の周波数領域情報を無視している。
  論文  参考訳（メタデータ） (2024-04-27T15:16:34Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• Masked Frequency Modeling for Self-Supervised Visual Pre-Training [102.89756957704138]
  MFM(Masked Frequency Modeling)は、視覚モデルの自己教師付き事前学習のための統合周波数領域に基づくアプローチである。 MFMはまず入力画像の周波数成分の一部をマスクアウトし、周波数スペクトルの欠落周波数を予測する。 MFMは初めて、ViTとCNNの両方で、単純な非シームフレームワークは、以下のものを使って意味のある表現を学習できることを示した。
  論文  参考訳（メタデータ） (2022-06-15T17:58:30Z)
• Wavelet Prior Attention Learning in Axial Inpainting Network [35.06912946192495]
  Axial Inpainting Network (WAIN) におけるウェーブレット事前注意学習モデルを提案する。 WPAは、マルチスケールの周波数領域における高レベルの特徴集約をガイドし、テキストアーティファクトを緩和する。 積み重ねられたATは、水平軸と垂直軸の低レベルの特徴とともに、合理的な特徴をモデル化するのに役立つ。
  論文  参考訳（メタデータ） (2022-06-07T08:45:27Z)
• Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
  本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。 我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-27T14:25:52Z)
• Exploring Inter-frequency Guidance of Image for Lightweight Gaussian Denoising [1.52292571922932]
  本稿では,周波数帯域を低域から高域に漸進的に洗練するために,IGNetと呼ばれる新しいネットワークアーキテクチャを提案する。 この設計では、より周波数間先行と情報を利用するため、モデルサイズは軽量化でき、競争結果も維持できる。
  論文  参考訳（メタデータ） (2021-12-22T10:35:53Z)
• WaveFill: A Wavelet-based Generation Network for Image Inpainting [57.012173791320855]
  WaveFillはウェーブレットベースの塗装ネットワークで、画像を複数の周波数帯域に分解する。 WaveFillは、空間情報を自然に保存する離散ウェーブレット変換(DWT)を用いて画像を分解する。 低周波帯にL1再構成損失を、高周波帯に敵対損失を施し、それによって周波数間紛争を効果的に軽減する。
  論文  参考訳（メタデータ） (2021-07-23T04:44:40Z)
• Focal Frequency Loss for Image Reconstruction and Synthesis [125.7135706352493]
  周波数領域の狭さが画像再構成と合成品質をさらに改善できることを示す。 本稿では,合成が難しい周波数成分に適応的に焦点を合わせることのできる,新しい焦点周波数損失を提案する。
  論文  参考訳（メタデータ） (2020-12-23T17:32:04Z)
• Image inpainting using frequency domain priors [35.54138025375951]
  本稿では,周波数領域情報を用いた新しい画像塗装手法を提案する。 提案手法について,CelebA,Paris Streetview,DTDテクスチャデータセットを用いて検討した。
  論文  参考訳（メタデータ） (2020-12-03T11:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。