論文の概要: CR-Fill: Generative Image Inpainting with Auxiliary Contexutal
Reconstruction
- arxiv url: http://arxiv.org/abs/2011.12836v2
- Date: Wed, 31 Mar 2021 11:47:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 03:41:49.428015
- Title: CR-Fill: Generative Image Inpainting with Auxiliary Contexutal
Reconstruction
- Title(参考訳): CR-Fill: Auxiliary Contexutal Reconstruction による画像の描出
- Authors: Yu Zeng, Zhe Lin, Huchuan Lu, Vishal M. Patel
- Abstract要約: 本稿では,このようなパッチボローイング動作を,補助的文脈再構成タスクの協調訓練により,注意のないジェネレータに教えることを提案する。
補助分岐を学習可能な損失関数と見なすことができ、クエリ参照特徴類似性と参照ベース再構成器を塗布ジェネレータと共同最適化する。
実験結果から,提案した塗装モデルは,定量的および視覚的性能の観点から,最先端技術と比較して好適に比較できることが示された。
- 参考スコア(独自算出の注目度): 143.7271816543372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent deep generative inpainting methods use attention layers to allow the
generator to explicitly borrow feature patches from the known region to
complete a missing region. Due to the lack of supervision signals for the
correspondence between missing regions and known regions, it may fail to find
proper reference features, which often leads to artifacts in the results. Also,
it computes pair-wise similarity across the entire feature map during inference
bringing a significant computational overhead. To address this issue, we
propose to teach such patch-borrowing behavior to an attention-free generator
by joint training of an auxiliary contextual reconstruction task, which
encourages the generated output to be plausible even when reconstructed by
surrounding regions. The auxiliary branch can be seen as a learnable loss
function, i.e. named as contextual reconstruction (CR) loss, where
query-reference feature similarity and reference-based reconstructor are
jointly optimized with the inpainting generator. The auxiliary branch (i.e. CR
loss) is required only during training, and only the inpainting generator is
required during the inference. Experimental results demonstrate that the
proposed inpainting model compares favourably against the state-of-the-art in
terms of quantitative and visual performance.
- Abstract(参考訳): 最近のディープジェネレーティブペイントメソッドでは、注意層を使用して、ジェネレータが既知の領域からフィーチャーパッチを明示的に借りて、欠落した領域を完了できるようにする。
欠落した地域と既知の地域との対応の監視信号が欠如しているため、適切な参照機能を見つけることができず、結果のアーティファクトにつながることが多い。
また、推論中に機能マップ全体にわたってペアで類似度を計算し、大きな計算オーバーヘッドをもたらす。
そこで,本稿では,周辺領域で再構成された場合でも,生成した出力が実現可能となるような補助的コンテクスト再構築タスクの合同訓練により,注意を払わない生成者にパッチボローイング動作を教えることを提案する。
補助分岐は学習可能な損失関数、すなわち文脈復元(cr)損失と見なすことができ、クエリ参照特徴の類似性と参照ベースの再構成器をインパイントジェネレータと共同で最適化する。
補助分岐(すなわちcr損失)は訓練中にのみ必要であり、推論中に塗装されたジェネレータのみが要求される。
実験の結果, 提案する塗工モデルは, 定量的および視覚的性能の観点から, 最先端と好適に比較できることがわかった。
関連論文リスト
- DGTR: Distributed Gaussian Turbo-Reconstruction for Sparse-View Vast Scenes [81.56206845824572]
新規ビュー合成(NVS)アプローチは、広大なシーン再構築において重要な役割を担っている。
大規模な環境下では、復元の質が悪くなる場合が少なくない。
本稿では,スパース・ビュー・ワイド・シーンのための効率的なガウス再構成のための分散フレームワークであるDGTRを提案する。
論文 参考訳(メタデータ) (2024-11-19T07:51:44Z) - Context Enhancement with Reconstruction as Sequence for Unified Unsupervised Anomaly Detection [68.74469657656822]
非教師付き異常検出(AD)は、通常のサンプルのみを用いて堅牢な検出モデルを訓練することを目的としている。
最近の研究は、すべてのクラスに対して1つのモデルのみをトレーニングする、統一された教師なしAD設定に焦点を当てている。
本稿では,特徴再構成時の文脈対応性を高める新しいRAS法を提案する。
論文 参考訳(メタデータ) (2024-09-10T07:37:58Z) - Multi-feature Reconstruction Network using Crossed-mask Restoration for Unsupervised Industrial Anomaly Detection [4.742650815342744]
産業生産における品質検査には, 教師なし異常検出が重要である。
本稿では,クロスマスク復元を用いた多機能再構成ネットワークMFRNetを提案する。
提案手法は,4つの公開データセットと1つの自作データセットにおいて,他の最先端のデータセットと高い競争力,あるいは大幅に上回っている。
論文 参考訳(メタデータ) (2024-04-20T05:13:56Z) - UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳(メタデータ) (2024-02-12T19:39:26Z) - Panoramic Image Inpainting With Gated Convolution And Contextual
Reconstruction Loss [19.659176149635417]
フェースジェネレータ,キューブジェネレータ,サイドブランチ,および2つの識別器からなるパノラマ画像インペイントフレームワークを提案する。
提案手法は,PSNRおよびSSIMの観点から,SUN360ストリートビューデータセット上の最先端(SOTA)手法と比較する。
論文 参考訳(メタデータ) (2024-02-05T11:58:08Z) - DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。
画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。
MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-12-11T18:38:28Z) - Decomposing and Coupling Saliency Map for Lesion Segmentation in
Ultrasound Images [10.423431415758655]
超音波画像の複雑なシナリオは、隣接する組織が類似の強度を共有し、よりリッチなテクスチャパターンを含むことで、正確な病変のセグメンテーションに固有の課題をもたらす。
この研究はDC-Netと呼ばれる分解結合ネットワークを示し、(地上背景)サリエンシマップのアンタングルメント・フュージョン方式でこの問題に対処する。
提案手法は2つの超音波病変セグメンテーションタスクで評価され,既存の最先端手法よりも顕著な性能向上を示す。
論文 参考訳(メタデータ) (2023-08-02T05:02:30Z) - BGaitR-Net: Occluded Gait Sequence reconstructionwith temporally
constrained model for gait recognition [1.151614782416873]
入力シーケンスで隠蔽されたフレームを識別する,新しいディープラーニングベースのアルゴリズムを開発した。
次に、歩行シーケンスに存在する次の時間情報を利用して、これらのフレームを再構築する。
我々のLSTMモデルでは,歩行周期の周期パターンと時間的に整合するフレームを再構成し,オクルージョンを生成する。
論文 参考訳(メタデータ) (2021-10-18T18:28:18Z) - Pixel-wise Dense Detector for Image Inpainting [34.721991959357425]
近年のGANベースの画像インパインティング手法では,画像の識別とスカラー出力に平均的手法が採用されている。
本稿では, 画像インパインティングのための新たな検出ベース生成フレームワークを提案し, 逆方向のプロセスにおいてmin-max戦略を採用する。
複数の公開データセットの実験は、提案したフレームワークの優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2020-11-04T13:45:27Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。