論文の概要: Bridging Composite and Real: Towards End-to-end Deep Image Matting

• arxiv url: http://arxiv.org/abs/2010.16188v3
• Date: Wed, 27 Oct 2021 03:31:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 16:36:47.349694
• Title: Bridging Composite and Real: Towards End-to-end Deep Image Matting
• Title（参考訳）: ブリジングコンポジットとリアル:エンド・ツー・エンドの画像マッチングを目指して
• Authors: Jizhizi Li, Jing Zhang, Stephen J. Maybank, Dacheng Tao
• Abstract要約: 画像マッチングにおける意味論と細部の役割について検討する。 本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。 総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
• 参考スコア（独自算出の注目度）: 88.79857806542006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extracting accurate foregrounds from natural images benefits many downstream applications such as film production and augmented reality. However, the furry characteristics and various appearance of the foregrounds, e.g., animal and portrait, challenge existing matting methods, which usually require extra user inputs such as trimap or scribbles. To resolve these problems, we study the distinct roles of semantics and details for image matting and decompose the task into two parallel sub-tasks: high-level semantic segmentation and low-level details matting. Specifically, we propose a novel Glance and Focus Matting network (GFM), which employs a shared encoder and two separate decoders to learn both tasks in a collaborative manner for end-to-end natural image matting. Besides, due to the limitation of available natural images in the matting task, previous methods typically adopt composite images for training and evaluation, which result in limited generalization ability on real-world images. In this paper, we investigate the domain gap issue between composite images and real-world images systematically by conducting comprehensive analyses of various discrepancies between the foreground and background images. We find that a carefully designed composition route RSSN that aims to reduce the discrepancies can lead to a better model with remarkable generalization ability. Furthermore, we provide a benchmark containing 2,000 high-resolution real-world animal images and 10,000 portrait images along with their manually labeled alpha mattes to serve as a test bed for evaluating matting model's generalization ability on real-world images. Comprehensive empirical studies have demonstrated that GFM outperforms state-of-the-art methods and effectively reduces the generalization error. The code and the datasets will be released at https://github.com/JizhiziLi/GFM.
• Abstract（参考訳）: 自然画像から正確な前景を抽出することは、映画制作や拡張現実といった下流の多くの応用に恩恵をもたらす。 しかし、フォアグラウンドの毛皮の特徴と様々な外観、例えば動物や肖像画は、トリマップやスクリブルのような追加のユーザー入力を必要とする既存のマッティング手法に挑戦する。 これらの問題を解決するために,イメージマット化におけるセマンティクスの役割と詳細について検討し,タスクを2つの並列サブタスクに分解する。 具体的には,共有エンコーダと2つの分離デコーダを用いて,エンド・ツー・エンドの自然なイメージ・マットリングのための協調的手法でタスクを学習する,新しいswise and focus matting network (gfm)を提案する。 また,マッチング作業において利用可能な自然画像の制限のため,従来手法ではトレーニングや評価に複合画像を用いる場合が多く,実際の画像に対する一般化能力は限られていた。 本稿では,前景と背景画像の相違を包括的に解析することにより,複合画像と実世界画像との領域ギャップ問題を体系的に検討する。 差分を減らすことを目的とした、慎重に設計された合成経路RSSNは、優れた一般化能力を持つモデルに繋がる可能性がある。 さらに,2000個の高精細な実世界の動物像と10,000枚の肖像画と,手動でラベル付けされたアルファマットを併用したベンチマークを行い,実世界の画像上でのマッティングモデルの一般化能力を評価する。 総合的な実証研究により、GFMは最先端の手法より優れ、一般化誤差を効果的に低減することを示した。 コードとデータセットはhttps://github.com/JizhiziLi/GFMで公開される。

関連論文リスト

• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
  本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。 実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。 特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• Deep Image Matting: A Comprehensive Survey [85.77905619102802]
  本稿では,ディープラーニング時代における画像マッチングの最近の進歩を概観する。 本稿では,補助的な入力ベースの画像マッチングと,自動的な画像マッチングという,2つの基本的なサブタスクに焦点を当てる。 画像マッチングの関連応用について論じ,今後の研究への課題と可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-04-10T15:48:55Z)
• Neural Congealing: Aligning Images to a Joint Semantic Atlas [14.348512536556413]
  画像の集合を横断的に意味的に共通するコンテンツを調整するための,ゼロショットの自己教師型フレームワークを提案する。 提案手法は,DINO-ViTの事前学習能力を利用して学習する。 提案手法は,大規模データセットに対する広範囲なトレーニングを必要とする最先端の手法と比較して,好適に動作することを示す。
  論文  参考訳（メタデータ） (2023-02-08T09:26:22Z)
• Deep Image Compositing [93.75358242750752]
  ユーザ入力なしで高品質の画像合成を自動生成する手法を提案する。 ラプラシアン・ピラミッド・ブレンディングにインスパイアされ、フォアグラウンドや背景画像からの情報を効果的に融合させるために、密結合型多ストリーム融合ネットワークが提案されている。 実験により,提案手法は高品質な合成物を自動生成し,定性的かつ定量的に既存手法より優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-11-04T06:12:24Z)
• High-Resolution Deep Image Matting [39.72708676319803]
  HDMattは、高解像度入力のための最初のディープラーニングベースの画像マッチングアプローチである。 提案手法は,Adobe Image Matting と AlphaMatting のベンチマーク上で,最先端の性能を新たに設定する。
  論文  参考訳（メタデータ） (2020-09-14T17:53:15Z)
• Unifying Specialist Image Embedding into Universal Image Embedding [84.0039266370785]
  画像の様々な領域に適用可能な普遍的な深層埋め込みモデルを持つことが望ましい。 本稿では,複数の専門家の知識を普遍的な埋め込みに融合させてこの問題を解決することを提案する。
  論文  参考訳（メタデータ） (2020-03-08T02:51:11Z)
• AlphaNet: An Attention Guided Deep Network for Automatic Image Matting [0.0]
  本研究では,画像マッチングのためのエンドツーエンドソリューション,すなわち自然画像から前景オブジェクトを高精度に抽出する手法を提案する。 本稿では,セマンティックセグメンテーションと深層画像マッチングプロセスをひとつのネットワークに同化して意味行列を生成する手法を提案する。 また、高品質なアルファマットを用いたファッションeコマース型データセットを構築し、画像マッチングのトレーニングと評価を容易にする。
  論文  参考訳（メタデータ） (2020-03-07T17:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。