論文の概要: Boosting General Trimap-free Matting in the Real-World Image
- arxiv url: http://arxiv.org/abs/2405.17916v1
- Date: Tue, 28 May 2024 07:37:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 19:47:39.177965
- Title: Boosting General Trimap-free Matting in the Real-World Image
- Title（参考訳）: 実世界の画像における一般トリマップフリーマッティングの強化
- Authors: Leo Shan Wenzhang Zhou Grace Zhao,
- Abstract要約: 我々は,textbfMulti-textbfFeature fusion-based textbfCoarse-to-fine Network textbf(MFC-Net)というネットワークを提案する。
提案手法は, 合成画像と実世界の画像の両方において有意に有効であり, 実世界のデータセットの性能は, 既存のマッティングフリー手法よりもはるかに優れている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image matting aims to obtain an alpha matte that separates foreground objects from the background accurately. Recently, trimap-free matting has been well studied because it requires only the original image without any extra input. Such methods usually extract a rough foreground by itself to take place trimap as further guidance. However, the definition of 'foreground' lacks a unified standard and thus ambiguities arise. Besides, the extracted foreground is sometimes incomplete due to inadequate network design. Most importantly, there is not a large-scale real-world matting dataset, and current trimap-free methods trained with synthetic images suffer from large domain shift problems in practice. In this paper, we define the salient object as foreground, which is consistent with human cognition and annotations of the current matting dataset. Meanwhile, data and technologies in salient object detection can be transferred to matting in a breeze. To obtain a more accurate and complete alpha matte, we propose a network called \textbf{M}ulti-\textbf{F}eature fusion-based \textbf{C}oarse-to-fine Network \textbf{(MFC-Net)}, which fully integrates multiple features for an accurate and complete alpha matte. Furthermore, we introduce image harmony in data composition to bridge the gap between synthetic and real images. More importantly, we establish the largest general matting dataset \textbf{(Real-19k)} in the real world to date. Experiments show that our method is significantly effective on both synthetic and real-world images, and the performance in the real-world dataset is far better than existing matting-free methods. Our code and data will be released soon.
- Abstract（参考訳）: 画像マッチングは、前景のオブジェクトを背景から正確に分離するアルファマットを取得することを目的としている。
近年,余分な入力を伴わないオリジナル画像のみを必要とするため,トリマップフリーなマッティングがよく研究されている。
このような方法は通常、より詳細なガイダンスとして、粗い前景をそれ自体で抽出してトリマップする。
しかし、「地上」の定義には統一的な基準が欠如しており、あいまいさが生じる。
また、ネットワーク設計が不十分なため、抽出した前景が不完全である場合もある。
最も重要なのは、大規模な実世界のマッチングデータセットはなく、合成画像で訓練された現在のトリマップフリーメソッドは、実際には大きなドメインシフト問題に悩まされていることだ。
本稿では,人間の認識と現在のマッチングデータセットのアノテーションに整合した,有能なオブジェクトを前景として定義する。
一方、健全な物体検出におけるデータや技術は、ブレーズでマットに転送することができる。
より正確で完全なアルファマットを得るため,我々は,完全かつ正確なアルファマットの複数の機能を完全に統合した,‘textbf{M}ulti-\textbf{F}eature fusion-based \textbf{C}oarse-to-fine Network‘textbf{(MFC-Net)} というネットワークを提案する。
さらに,合成画像と実画像のギャップを埋めるために,データ合成における画像調和を導入する。
さらに重要なことは、現在までの現実世界で最大の一般的なマッチングデータセット \textbf{(Real-19k)} を確立することである。
実験の結果,本手法は合成画像と実世界の画像の両方に有効であり,実世界のデータセットの性能は既存のマットフリー手法よりもはるかに優れていることがわかった。
コードとデータはまもなく公開されるでしょう。
関連論文リスト
- MLI-NeRF: Multi-Light Intrinsic-Aware Neural Radiance Fields [21.057216351934688]
反射率やシェーディングなどの固有画像成分を抽出する現在の手法は、統計的先行性に依存している。
我々はtextbfIntrinsic-aware textbfNeural textbfRadiance textbfFields に textbfMultiple textbfLight 情報を統合する MLI-NeRF を提案する。
論文 参考訳（メタデータ） (2024-11-26T08:57:38Z) - Towards Natural Image Matting in the Wild via Real-Scenario Prior [69.96414467916863]
我々は,COCOデータセット,すなわちCOCO-Mattingに基づく新しいマッチングデータセットを提案する。
構築されたCOCO-Mattingは、複雑な自然シナリオにおける38,251人のインスタンスレベルのアルファマットの広範なコレクションを含む。
ネットワークアーキテクチャにおいて、提案する特徴整合変換器は、きめ細かいエッジと透過性を抽出することを学ぶ。
提案したマットアライメントデコーダは、マット固有のオブジェクトを分割し、粗いマスクを高精度なマットに変換することを目的としている。
論文 参考訳（メタデータ） (2024-10-09T06:43:19Z) - Large-scale and Efficient Texture Mapping Algorithm via Loopy Belief
Propagation [4.742825811314168]
テクスチャマッピングアルゴリズムは、これらのビューからメッシュモデルへのビュー、ヒューズ、およびマップテクスチャを効率的に選択できなければならない。
既存のアプローチでは、画像の数を1つのビューに制限するか、グローバルな推論を単純化して局所的な色の一貫性を達成している。
本稿では,顔ごとのテクスチャの複数のビューを利用できる新しい,効率的なテクスチャマッピングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-08T15:11:28Z) - From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real
Data [58.50411487497146]
ラベルのない実データと協調する新しい画像デハージングフレームワークを提案する。
まず,特徴表現を3つの成分マップに切り離す不整合画像デハージングネットワーク(DID-Net)を開発する。
そして、無ラベルの実データと協調して単一画像のデハージングを促進するために、不整合平均教師ネットワーク(DMT-Net)を用いる。
論文 参考訳（メタデータ） (2021-08-06T04:00:28Z) - Deep Automatic Natural Image Matting [82.56853587380168]
自動画像マッチング(AIM)とは、任意の自然画像からソフトフォアグラウンドをトリマップのような補助的な入力なしで推定することである。
本稿では,これらの画像の一般化されたトリマップを統一的な意味表現として予測できる,新しいエンドツーエンドマッチングネットワークを提案する。
我々のネットワークは、利用可能な合成マッチングデータセットをトレーニングし、既存の手法を客観的にも主観的にも優れています。
論文 参考訳（メタデータ） (2021-07-15T10:29:01Z) - Salient Image Matting [0.0]
本研究では,画像中の最も鮮やかな前景の画素あたりの不透明度値を推定するために,Salient Image Mattingという画像マッチングフレームワークを提案する。
我々のフレームワークは、広範囲のセマンティクスと健全なオブジェクトタイプを学ぶという課題を同時に扱う。
私たちのフレームワークは、他の自動メソッドと比較して、わずかな高価なマットデータのみを必要とします。
論文 参考訳（メタデータ） (2021-03-23T06:22:33Z) - Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
画像マッチングにおける意味論と細部の役割について検討する。
本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。
総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
論文 参考訳（メタデータ） (2020-10-30T10:57:13Z) - Improving Deep Stereo Network Generalization with Geometric Priors [93.09496073476275]
地上の真実が密集した多様な現実世界のシーンの大規模なデータセットを得ることは困難である。
多くのアルゴリズムは、似たようなシーンや合成データセットの小さな実世界のデータセットに依存している。
本稿では,シーン幾何学の事前知識をエンド・ツー・エンドのステレオネットワークに統合し,ネットワークの一般化を支援することを提案する。
論文 参考訳（メタデータ） (2020-08-25T15:24:02Z) - Boosting Semantic Human Matting with Coarse Annotations [66.8725980604434]
粗いアノテートされた人間のデータセットは、公開データセットから取得し、収集するのがずっと簡単です。
マットリファインメントネットワークは、統一マスクと入力画像とを取り込み、最終アルファマットを予測する。
論文 参考訳（メタデータ） (2020-04-10T09:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。