論文の概要: Matte Anything: Interactive Natural Image Matting with Segment Anything Models

• arxiv url: http://arxiv.org/abs/2306.04121v1
• Date: Wed, 7 Jun 2023 03:31:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 16:29:45.193576
• Title: Matte Anything: Interactive Natural Image Matting with Segment Anything Models
• Title（参考訳）: Matte Anything: セグメンテーションモデルによるインタラクティブな自然画像マッチング
• Authors: Jingfeng Yao, Xinggang Wang, Lang Ye, and Wenyu Liu
• Abstract要約: Matte Anything Model (MatAny) はインタラクティブな自然な画像マッチングモデルであり、高品質なアルファマットを生成することができる。 タスク固有の視覚モデルを利用して、自然な画像マッチングの性能を向上させる。 MatAnyは、最もサポートされたインタラクションメソッドと、これまでで最高のパフォーマンスを備えた、インタラクティブなマッティングアルゴリズムである。
• 参考スコア（独自算出の注目度）: 28.01371260134708
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Natural image matting algorithms aim to predict the transparency map (alpha-matte) with the trimap guidance. However, the production of trimaps often requires significant labor, which limits the widespread application of matting algorithms on a large scale. To address the issue, we propose Matte Anything model (MatAny), an interactive natural image matting model which could produce high-quality alpha-matte with various simple hints. The key insight of MatAny is to generate pseudo trimap automatically with contour and transparency prediction. We leverage task-specific vision models to enhance the performance of natural image matting. Specifically, we use the segment anything model (SAM) to predict high-quality contour with user interaction and an open-vocabulary (OV) detector to predict the transparency of any object. Subsequently, a pretrained image matting model generates alpha mattes with pseudo trimaps. MatAny is the interactive matting algorithm with the most supported interaction methods and the best performance to date. It consists of orthogonal vision models without any additional training. We evaluate the performance of MatAny against several current image matting algorithms, and the results demonstrate the significant potential of our approach.
• Abstract（参考訳）: 自然画像マット化アルゴリズムは、トリマップガイダンスで透明性マップ(アルファマット)を予測することを目的としている。 しかし、トリマップの生成にはかなりの労力が必要であり、大規模なマットニングアルゴリズムの適用範囲を制限している。 この問題に対処するために,様々な簡単なヒントで高品質なアルファ・マットを生成できるインタラクティブな自然画像マッチングモデルであるMatte Anything Model (MatAny)を提案する。 MatAnyの重要な洞察は、輪郭と透明な予測で自動的に擬似トリマップを生成することである。 タスク固有の視覚モデルを利用して、自然な画像マッチングの性能を向上させる。 具体的には、セグメンテーションモデル(SAM)を用いて、ユーザインタラクションによる高品質な輪郭を予測し、オープン語彙検出器(OV)を用いてオブジェクトの透明性を予測する。 その後、事前訓練された画像マッチングモデルが擬似トリマップを持つアルファ行列を生成する。 matanyは最もサポートされたインタラクションメソッドと、これまでで最高のパフォーマンスを持つ対話型マットリングアルゴリズムである。 追加の訓練なしで直交視覚モデルから成り立っている。 いくつかの画像マッチングアルゴリズムに対してMateAnyの性能を評価し,本手法の有効性を実証した。

関連論文リスト

• Towards Natural Image Matting in the Wild via Real-Scenario Prior [69.96414467916863]
  我々は,COCOデータセット,すなわちCOCO-Mattingに基づく新しいマッチングデータセットを提案する。 構築されたCOCO-Mattingは、複雑な自然シナリオにおける38,251人のインスタンスレベルのアルファマットの広範なコレクションを含む。 ネットワークアーキテクチャにおいて、提案する特徴整合変換器は、きめ細かいエッジと透過性を抽出することを学ぶ。 提案したマットアライメントデコーダは、マット固有のオブジェクトを分割し、粗いマスクを高精度なマットに変換することを目的としている。
  論文  参考訳（メタデータ） (2024-10-09T06:43:19Z)
• Learning Trimaps via Clicks for Image Matting [103.6578944248185]
  Click2Trimapは,ユーザクリックの最小限の入力で高品質なトリマップとアルファ行列を予測できる対話型モデルである。 ユーザスタディでは、Click2Trimapは高品質なトリマップとマッティング予測を、1画像あたり平均5秒で達成している。
  論文  参考訳（メタデータ） (2024-03-30T12:10:34Z)
• DiffusionMat: Alpha Matting as Sequential Refinement Learning [87.76572845943929]
  DiffusionMatは、粗いアルファマットから洗練されたアルファマットへの移行に拡散モデルを利用する画像マッチングフレームワークである。 補正モジュールは、各復調ステップで出力を調整し、最終的な結果が入力画像の構造と一致していることを保証する。 その結果,DiffusionMatは既存の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-11-22T17:16:44Z)
• One-Trimap Video Matting [47.95947397358026]
  本稿では,1つのユーザアノテートトリマップのみを用いて,ビデオマッチングを頑健に行うOne-Trimap Video Matting Network (OTVM)を提案する。 OTVMの鍵は、トリマップの伝搬とアルファ予測の合同モデリングである。 われわれのモデルは、Deep Video MattingとVideoMatting108という2つの最新のビデオマッチングベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-07-27T08:19:41Z)
• PP-Matting: High-Accuracy Natural Image Matting [11.68134059283327]
  PP-Mattingは、高精度な自然な画像マッチングを実現するトリマップのないアーキテクチャである。 本手法は,前景のきめ細かい詳細を抽出する高精細ディテールブランチ (HRDB) を適用する。 また,意味的セグメンテーションのサブタスクを採用した意味的文脈分岐(SCB)を提案する。
  論文  参考訳（メタデータ） (2022-04-20T12:54:06Z)
• Deep Automatic Natural Image Matting [82.56853587380168]
  自動画像マッチング(AIM)とは、任意の自然画像からソフトフォアグラウンドをトリマップのような補助的な入力なしで推定することである。 本稿では,これらの画像の一般化されたトリマップを統一的な意味表現として予測できる,新しいエンドツーエンドマッチングネットワークを提案する。 我々のネットワークは、利用可能な合成マッチングデータセットをトレーニングし、既存の手法を客観的にも主観的にも優れています。
  論文  参考訳（メタデータ） (2021-07-15T10:29:01Z)
• Semantic Image Matting [75.21022252141474]
  交配領域のフレームワークセマンティクス分類に組み込むことで、より良いアルファマットを得る方法を紹介します。 具体的には,20種類のマットングパターンを検討し,学習し,従来の三角マップを意味的三角マップに拡張する提案を行う。 複数のベンチマーク実験により,本手法は他の手法よりも優れており,最も競争力のある最先端性能を実現していることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-16T16:21:02Z)
• Human Perception Modeling for Automatic Natural Image Matting [2.179313476241343]
  natural image mattingは、alpha matteを使って、フォアグラウンドオブジェクトを背景から正確に分離することを目的としている。 アノテーションを付加せずに直感的に設計したトリマップフリー2段階マッチング手法を提案する。 このマッティングアルゴリズムは,現在最先端の手法と,trimap-freeとtrimap-needの両方の面で競合する性能を持つ。
  論文  参考訳（メタデータ） (2021-03-31T12:08:28Z)
• Salient Image Matting [0.0]
  本研究では,画像中の最も鮮やかな前景の画素あたりの不透明度値を推定するために,Salient Image Mattingという画像マッチングフレームワークを提案する。 我々のフレームワークは、広範囲のセマンティクスと健全なオブジェクトタイプを学ぶという課題を同時に扱う。 私たちのフレームワークは、他の自動メソッドと比較して、わずかな高価なマットデータのみを必要とします。
  論文  参考訳（メタデータ） (2021-03-23T06:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。