論文の概要: SuperInpaint: Learning Detail-Enhanced Attentional Implicit
Representation for Super-resolutional Image Inpainting
- arxiv url: http://arxiv.org/abs/2307.14489v1
- Date: Wed, 26 Jul 2023 20:28:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 16:38:12.425588
- Title: SuperInpaint: Learning Detail-Enhanced Attentional Implicit
Representation for Super-resolutional Image Inpainting
- Title（参考訳）: Super Inpaint:超高解像度画像インパインティングのための詳細な注意インシシット表現の学習
- Authors: Canyu Zhang, Qing Guo, Xiaoguang Li, Renjie Wan, Hongkai Yu, Ivor
Tsang, Song Wang
- Abstract要約: 我々はSuperInpaintと呼ばれる課題の画像復元タスクを導入する。
この課題は、低解像度画像中の欠落領域を再構築し、任意の高解像度画像を生成することである。
本論文では,SuperInpaintを1つのモデルで実現可能な細部強調型暗黙表現を提案する。
- 参考スコア（独自算出の注目度）: 26.309834304515544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we introduce a challenging image restoration task, referred to
as SuperInpaint, which aims to reconstruct missing regions in low-resolution
images and generate completed images with arbitrarily higher resolutions. We
have found that this task cannot be effectively addressed by stacking
state-of-the-art super-resolution and image inpainting methods as they amplify
each other's flaws, leading to noticeable artifacts. To overcome these
limitations, we propose the detail-enhanced attentional implicit representation
(DEAR) that can achieve SuperInpaint with a single model, resulting in
high-quality completed images with arbitrary resolutions. Specifically, we use
a deep convolutional network to extract the latent embedding of an input image
and then enhance the high-frequency components of the latent embedding via an
adaptive high-pass filter. This leads to detail-enhanced semantic embedding. We
further feed the semantic embedding into an unmask-attentional module that
suppresses embeddings from ineffective masked pixels. Additionally, we extract
a pixel-wise importance map that indicates which pixels should be used for
image reconstruction. Given the coordinates of a pixel we want to reconstruct,
we first collect its neighboring pixels in the input image and extract their
detail-enhanced semantic embeddings, unmask-attentional semantic embeddings,
importance values, and spatial distances to the desired pixel. Then, we feed
all the above terms into an implicit representation and generate the color of
the specified pixel. To evaluate our method, we extend three existing datasets
for this new task and build 18 meaningful baselines using SOTA inpainting and
super-resolution methods. Extensive experimental results demonstrate that our
method outperforms all existing methods by a significant margin on four widely
used metrics.
- Abstract（参考訳）: 本研究では,低解像度画像の欠落領域を再構築し,任意の高解像度画像を生成することを目的とした,SuperInpaintと呼ばれる課題の画像復元タスクを導入する。
この課題は, 互いの欠陥を増幅するため, 最先端の超解像・画像インパインティング手法を積み重ねることによって効果的に対処できないことが判明した。
これらの制約を克服するために,スーパーインペントを1つのモデルで実現し,任意の解像度で高品質な画像を生成するDEARを提案する。
具体的には,深い畳み込みネットワークを用いて入力画像の潜在埋め込みを抽出し,適応型ハイパスフィルタによる潜在埋め込みの高周波成分を強化する。
これにより、詳細な意味埋め込みがもたらされる。
さらに,非効率なマスク画素からの埋め込みを抑制する非マスク型モジュールにセマンティック埋め込みを組み込む。
さらに,画像再構成にどの画素を使用するべきかを示す画素単位の重要度マップを抽出する。
再構成したい画素の座標を考えると、まずその近傍の画素を入力画像に集め、その詳細を強調したセマンティック埋め込み、意図しないセマンティック埋め込み、重要値、所望の画素への空間距離を抽出する。
そして、上記の全ての用語を暗黙の表現に入力し、指定されたピクセルの色を生成する。
提案手法を評価するため,既存の3つのデータセットを拡張し,SOTA塗装法と超解像法を用いて18の有意義なベースラインを構築した。
広範な実験結果から,本手法は既存の手法を4つのメトリクスに対して有意なマージンで上回ることがわかった。
関連論文リスト
- Unsupervised Superpixel Generation using Edge-Sparse Embedding [18.92698251515116]
特徴に対する画素の類似性に基づいて画像をスーパーピクセルに分割することは、データの複雑さを著しく減らし、その後の画像処理タスクを改善する。
コントラストの少ない非畳み込み画像デコーダを提案し、再構成画像にスムーズで接続されたエッジを強制する。
我々はデコーダの最後に隠された層から、余分な空間情報をスムーズなアクティベーションマップに符号化してエッジスパース画素埋め込みを生成し、標準クラスタリングアルゴリズムを用いて高品質なスーパーピクセルを抽出する。
論文 参考訳（メタデータ） (2022-11-28T15:55:05Z) - Single Image Super-Resolution via a Dual Interactive Implicit Neural
Network [5.331665215168209]
本稿では,任意のスケール因子における単一画像の超解像処理のための新しい暗黙的ニューラルネットワークを提案する。
公開されているベンチマークデータセット上で、最先端技術に対するアプローチの有効性と柔軟性を実証する。
論文 参考訳（メタデータ） (2022-10-23T02:05:19Z) - Deep Two-Stage High-Resolution Image Inpainting [0.0]
本稿では,任意の大きさの画像をペイントする問題を解決する手法を提案する。
そこで本稿では, 隣接画素からの情報を, 原像を4方向へ移動させることで利用することを提案する。
このアプローチは既存のインペイントモデルで動作可能で、再トレーニングを必要とせずにほぼ独立している。
論文 参考訳（メタデータ） (2021-04-27T20:32:21Z) - Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps [85.67745220834718]
不規則な穴の画像インペインティングを改善するためのエッジガイド学習可能な双方向注意マップ(Edge-LBAM)を紹介します。
当社のEdge-LBAMメソッドには、予測エッジによる構造認識マスク更新を含むデュアルプロシージャが含まれています。
広範な実験により,エッジlbamはコヒーレントな画像構造を生成し,色差やぼやけを防止できることがわかった。
論文 参考訳（メタデータ） (2021-04-25T07:25:16Z) - In&Out : Diverse Image Outpainting via GAN Inversion [89.84841983778672]
image outpaintingは、利用可能なコンテンツを超えて、入力画像の意味的に一貫した拡張を求める。
本研究では、生成的対向ネットワークの反転の観点から問題を定式化する。
私達の発電機はイメージの彼らの共同潜入コードそして個々の位置で調節されるマイクロ パッチをレンダリングします。
論文 参考訳（メタデータ） (2021-04-01T17:59:10Z) - TransFill: Reference-guided Image Inpainting by Merging Multiple Color
and Spatial Transformations [35.9576572490994]
本稿では,対象画像とシーン内容を共有する別のソース画像を参照して,穴を埋めるマルチホモグラフィ変換核融合法であるtransfillを提案する。
色を調整し、各ホモグラフィー歪んだソースイメージにピクセルレベルのワーピングを適用して、ターゲットとの整合性を高めることを学びます。
本手法は,多種多様なベースラインと色差にまたがる画像対の最先端性能を実現し,ユーザ提供画像対に一般化する。
論文 参考訳（メタデータ） (2021-03-29T22:45:07Z) - AINet: Association Implantation for Superpixel Segmentation [82.21559299694555]
今回提案する新しいtextbfAssociation textbfImplantation(AI)モジュールは、ネットワークがピクセルとその周辺グリッド間の関係を明示的にキャプチャすることを可能にする。
本手法は最先端性能を実現するだけでなく,十分な推論効率を維持することができた。
論文 参考訳（メタデータ） (2021-01-26T10:40:13Z) - Semantic Layout Manipulation with High-Resolution Sparse Attention [106.59650698907953]
本稿では,意味ラベルマップを編集して入力画像を操作するセマンティックイメージレイアウト操作の課題に対処する。
このタスクの中核的な問題は、視覚的にイメージを現実的にしながら、入力画像から新しいセマンティックレイアウトに視覚的な詳細を転送する方法です。
512×512の解像度で視覚的詳細を新しいレイアウトに効果的に転送する高分解能スパースアテンションモジュールを提案する。
論文 参考訳（メタデータ） (2020-12-14T06:50:43Z) - Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。
エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。
本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
論文 参考訳（メタデータ） (2020-10-29T14:46:05Z) - High-Resolution Image Inpainting with Iterative Confidence Feedback and
Guided Upsampling [122.06593036862611]
既存の画像塗装法は、実アプリケーションで大きな穴を扱う際に、しばしばアーティファクトを生成する。
本稿では,フィードバック機構を備えた反復インペイント手法を提案する。
実験により,本手法は定量評価と定性評価の両方において既存手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2020-05-24T13:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。