論文の概要: CR-Fill: Generative Image Inpainting with Auxiliary Contexutal
Reconstruction
- arxiv url: http://arxiv.org/abs/2011.12836v2
- Date: Wed, 31 Mar 2021 11:47:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 03:41:49.428015
- Title: CR-Fill: Generative Image Inpainting with Auxiliary Contexutal
Reconstruction
- Title(参考訳): CR-Fill: Auxiliary Contexutal Reconstruction による画像の描出
- Authors: Yu Zeng, Zhe Lin, Huchuan Lu, Vishal M. Patel
- Abstract要約: 本稿では,このようなパッチボローイング動作を,補助的文脈再構成タスクの協調訓練により,注意のないジェネレータに教えることを提案する。
補助分岐を学習可能な損失関数と見なすことができ、クエリ参照特徴類似性と参照ベース再構成器を塗布ジェネレータと共同最適化する。
実験結果から,提案した塗装モデルは,定量的および視覚的性能の観点から,最先端技術と比較して好適に比較できることが示された。
- 参考スコア(独自算出の注目度): 143.7271816543372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent deep generative inpainting methods use attention layers to allow the
generator to explicitly borrow feature patches from the known region to
complete a missing region. Due to the lack of supervision signals for the
correspondence between missing regions and known regions, it may fail to find
proper reference features, which often leads to artifacts in the results. Also,
it computes pair-wise similarity across the entire feature map during inference
bringing a significant computational overhead. To address this issue, we
propose to teach such patch-borrowing behavior to an attention-free generator
by joint training of an auxiliary contextual reconstruction task, which
encourages the generated output to be plausible even when reconstructed by
surrounding regions. The auxiliary branch can be seen as a learnable loss
function, i.e. named as contextual reconstruction (CR) loss, where
query-reference feature similarity and reference-based reconstructor are
jointly optimized with the inpainting generator. The auxiliary branch (i.e. CR
loss) is required only during training, and only the inpainting generator is
required during the inference. Experimental results demonstrate that the
proposed inpainting model compares favourably against the state-of-the-art in
terms of quantitative and visual performance.
- Abstract(参考訳): 最近のディープジェネレーティブペイントメソッドでは、注意層を使用して、ジェネレータが既知の領域からフィーチャーパッチを明示的に借りて、欠落した領域を完了できるようにする。
欠落した地域と既知の地域との対応の監視信号が欠如しているため、適切な参照機能を見つけることができず、結果のアーティファクトにつながることが多い。
また、推論中に機能マップ全体にわたってペアで類似度を計算し、大きな計算オーバーヘッドをもたらす。
そこで,本稿では,周辺領域で再構成された場合でも,生成した出力が実現可能となるような補助的コンテクスト再構築タスクの合同訓練により,注意を払わない生成者にパッチボローイング動作を教えることを提案する。
補助分岐は学習可能な損失関数、すなわち文脈復元(cr)損失と見なすことができ、クエリ参照特徴の類似性と参照ベースの再構成器をインパイントジェネレータと共同で最適化する。
補助分岐(すなわちcr損失)は訓練中にのみ必要であり、推論中に塗装されたジェネレータのみが要求される。
実験の結果, 提案する塗工モデルは, 定量的および視覚的性能の観点から, 最先端と好適に比較できることがわかった。
関連論文リスト
- UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳(メタデータ) (2024-02-12T19:39:26Z) - Panoramic Image Inpainting With Gated Convolution And Contextual
Reconstruction Loss [19.659176149635417]
フェースジェネレータ,キューブジェネレータ,サイドブランチ,および2つの識別器からなるパノラマ画像インペイントフレームワークを提案する。
提案手法は,PSNRおよびSSIMの観点から,SUN360ストリートビューデータセット上の最先端(SOTA)手法と比較する。
論文 参考訳(メタデータ) (2024-02-05T11:58:08Z) - DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。
画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。
MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-12-11T18:38:28Z) - In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳(メタデータ) (2023-09-25T08:42:06Z) - Decomposing and Coupling Saliency Map for Lesion Segmentation in
Ultrasound Images [10.423431415758655]
超音波画像の複雑なシナリオは、隣接する組織が類似の強度を共有し、よりリッチなテクスチャパターンを含むことで、正確な病変のセグメンテーションに固有の課題をもたらす。
この研究はDC-Netと呼ばれる分解結合ネットワークを示し、(地上背景)サリエンシマップのアンタングルメント・フュージョン方式でこの問題に対処する。
提案手法は2つの超音波病変セグメンテーションタスクで評価され,既存の最先端手法よりも顕著な性能向上を示す。
論文 参考訳(メタデータ) (2023-08-02T05:02:30Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [55.52743265122446]
ディープオートエンコーダは視覚領域における異常検出のタスクに使われてきた。
我々は、訓練中に識別情報を使用することが可能な自己指導型学習体制を適用することで、この問題に対処する。
MVTec ADデータセットを用いた実験では,高い検出性能と局所化性能を示した。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - BGaitR-Net: Occluded Gait Sequence reconstructionwith temporally
constrained model for gait recognition [1.151614782416873]
入力シーケンスで隠蔽されたフレームを識別する,新しいディープラーニングベースのアルゴリズムを開発した。
次に、歩行シーケンスに存在する次の時間情報を利用して、これらのフレームを再構築する。
我々のLSTMモデルでは,歩行周期の周期パターンと時間的に整合するフレームを再構成し,オクルージョンを生成する。
論文 参考訳(メタデータ) (2021-10-18T18:28:18Z) - Pixel-wise Dense Detector for Image Inpainting [34.721991959357425]
近年のGANベースの画像インパインティング手法では,画像の識別とスカラー出力に平均的手法が採用されている。
本稿では, 画像インパインティングのための新たな検出ベース生成フレームワークを提案し, 逆方向のプロセスにおいてmin-max戦略を採用する。
複数の公開データセットの実験は、提案したフレームワークの優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2020-11-04T13:45:27Z) - Image Retrieval for Structure-from-Motion via Graph Convolutional
Network [13.040952255039702]
本稿では,グラフ畳み込みネットワーク(GCN)に基づく新しい検索手法を提案する。
問合せ画像を取り巻くサブグラフを入力データとして構築することにより、問合せ画像と重なり合う領域を持つか否かを学習可能なGCNを採用する。
実験により,本手法は高度にあいまいで重複したシーンの挑戦的データセットにおいて,極めて優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2020-09-17T04:03:51Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。