論文の概要: In-Context Matting
- arxiv url: http://arxiv.org/abs/2403.15789v1
- Date: Sat, 23 Mar 2024 10:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 21:02:48.401432
- Title: In-Context Matting
- Title（参考訳）: In-Context Matting
- Authors: He Guo, Zixuan Ye, Zhiguo Cao, Hao Lu,
- Abstract要約: In-context matting, a novel task set of image mattingを紹介する。
In-context mattingは、同じフォアグラウンドカテゴリのターゲット画像のバッチに対する自動アルファ推定を可能にする。
IconMattingは、事前訓練されたテキスト-画像拡散モデルに基づいて構築されたコンテキスト内マッチングモデルである。
- 参考スコア（独自算出の注目度）: 16.345261293801965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce in-context matting, a novel task setting of image matting. Given a reference image of a certain foreground and guided priors such as points, scribbles, and masks, in-context matting enables automatic alpha estimation on a batch of target images of the same foreground category, without additional auxiliary input. This setting marries good performance in auxiliary input-based matting and ease of use in automatic matting, which finds a good trade-off between customization and automation. To overcome the key challenge of accurate foreground matching, we introduce IconMatting, an in-context matting model built upon a pre-trained text-to-image diffusion model. Conditioned on inter- and intra-similarity matching, IconMatting can make full use of reference context to generate accurate target alpha mattes. To benchmark the task, we also introduce a novel testing dataset ICM-$57$, covering 57 groups of real-world images. Quantitative and qualitative results on the ICM-57 testing set show that IconMatting rivals the accuracy of trimap-based matting while retaining the automation level akin to automatic matting. Code is available at https://github.com/tiny-smart/in-context-matting
- Abstract（参考訳）: In-context matting, a novel task set of image mattingを紹介する。
特定のフォアグラウンドの参照画像とポイント、スクリブル、マスクなどのガイド付き先行画像が与えられた場合、インコンテキスト・マッティングは、追加の補助入力なしで、同じフォアグラウンドカテゴリのターゲット画像のバッチ上で自動アルファ推定を可能にする。
この設定は、補助的な入力ベースのマッティングにおける優れたパフォーマンスと、自動マッティングにおける使いやすさをマージする。
IconMattingは,事前学習したテキストから画像への拡散モデル上に構築されたコンテキスト内マッチングモデルである。
IconMattingは、相似性マッチングと相似性マッチングを条件に、参照コンテキストをフル活用して、正確なターゲットアルファマットを生成する。
タスクをベンチマークするために,57グループからなる実世界の画像を対象とした新しいテストデータセット ICM-57$ も導入した。
ICM-57テストセットの定量および定性的な結果から、IconMattingは自動化レベルを保ちながら、トリマップベースのマッティングの精度に匹敵することを示した。
コードはhttps://github.com/tiny-smart/in-context-mattingで入手できる。
関連論文リスト
- Towards Natural Image Matting in the Wild via Real-Scenario Prior [69.96414467916863]
我々は,COCOデータセット,すなわちCOCO-Mattingに基づく新しいマッチングデータセットを提案する。
構築されたCOCO-Mattingは、複雑な自然シナリオにおける38,251人のインスタンスレベルのアルファマットの広範なコレクションを含む。
ネットワークアーキテクチャにおいて、提案する特徴整合変換器は、きめ細かいエッジと透過性を抽出することを学ぶ。
提案したマットアライメントデコーダは、マット固有のオブジェクトを分割し、粗いマスクを高精度なマットに変換することを目的としている。
論文 参考訳（メタデータ） (2024-10-09T06:43:19Z) - Learning to Mask and Permute Visual Tokens for Vision Transformer
Pre-Training [59.923672191632065]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。
MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。
以上の結果から,MaPeTはImageNet上での競合性能を実証した。
論文 参考訳（メタデータ） (2023-06-12T18:12:19Z) - Matte Anything: Interactive Natural Image Matting with Segment Anything
Models [35.105593013654]
Matte Anything (MatAny) は、高品質のアルファマットを生成することができるインタラクティブな自然な画像マッチングモデルである。
我々は、視覚基盤モデルを活用し、自然な画像マッチングの性能を向上させる。
MatAny は以前の画像マッチング法と比較して MSE を58.3%改善し、SAD を40.6%改善した。
論文 参考訳（メタデータ） (2023-06-07T03:31:39Z) - Deep Image Matting: A Comprehensive Survey [85.77905619102802]
本稿では,ディープラーニング時代における画像マッチングの最近の進歩を概観する。
本稿では,補助的な入力ベースの画像マッチングと,自動的な画像マッチングという,2つの基本的なサブタスクに焦点を当てる。
画像マッチングの関連応用について論じ,今後の研究への課題と可能性を明らかにする。
論文 参考訳（メタデータ） (2023-04-10T15:48:55Z) - Correlational Image Modeling for Self-Supervised Visual Pre-Training [81.82907503764775]
相関画像モデリング(Relational Image Modeling)は、自己監督型視覚前訓練における、新しくて驚くほど効果的なアプローチである。
3つの重要な設計は、相関画像モデリングを非自明で有意義な自己監督タスクとして実現している。
論文 参考訳（メタデータ） (2023-03-22T15:48:23Z) - Deep Automatic Natural Image Matting [82.56853587380168]
自動画像マッチング(AIM)とは、任意の自然画像からソフトフォアグラウンドをトリマップのような補助的な入力なしで推定することである。
本稿では,これらの画像の一般化されたトリマップを統一的な意味表現として予測できる,新しいエンドツーエンドマッチングネットワークを提案する。
我々のネットワークは、利用可能な合成マッチングデータセットをトレーニングし、既存の手法を客観的にも主観的にも優れています。
論文 参考訳（メタデータ） (2021-07-15T10:29:01Z) - Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
画像マッチングにおける意味論と細部の役割について検討する。
本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。
総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
論文 参考訳（メタデータ） (2020-10-30T10:57:13Z) - AlphaNet: An Attention Guided Deep Network for Automatic Image Matting [0.0]
本研究では,画像マッチングのためのエンドツーエンドソリューション,すなわち自然画像から前景オブジェクトを高精度に抽出する手法を提案する。
本稿では,セマンティックセグメンテーションと深層画像マッチングプロセスをひとつのネットワークに同化して意味行列を生成する手法を提案する。
また、高品質なアルファマットを用いたファッションeコマース型データセットを構築し、画像マッチングのトレーニングと評価を容易にする。
論文 参考訳（メタデータ） (2020-03-07T17:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。