論文の概要: DiffusionMat: Alpha Matting as Sequential Refinement Learning
- arxiv url: http://arxiv.org/abs/2311.13535v1
- Date: Wed, 22 Nov 2023 17:16:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 14:11:35.957751
- Title: DiffusionMat: Alpha Matting as Sequential Refinement Learning
- Title（参考訳）: DiffusionMat: シーケンシャルリファインメント学習としてのAlpha Matting
- Authors: Yangyang Xu, Shengfeng He, Wenqi Shao, Kwan-Yee K. Wong, Yu Qiao, Ping
Luo
- Abstract要約: DiffusionMatは、粗いアルファマットから洗練されたアルファマットへの移行に拡散モデルを利用する画像マッチングフレームワークである。
補正モジュールは、各復調ステップで出力を調整し、最終的な結果が入力画像の構造と一致していることを保証する。
その結果,DiffusionMatは既存の手法よりも優れていたことが示唆された。
- 参考スコア（独自算出の注目度）: 87.76572845943929
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we introduce DiffusionMat, a novel image matting framework
that employs a diffusion model for the transition from coarse to refined alpha
mattes. Diverging from conventional methods that utilize trimaps merely as
loose guidance for alpha matte prediction, our approach treats image matting as
a sequential refinement learning process. This process begins with the addition
of noise to trimaps and iteratively denoises them using a pre-trained diffusion
model, which incrementally guides the prediction towards a clean alpha matte.
The key innovation of our framework is a correction module that adjusts the
output at each denoising step, ensuring that the final result is consistent
with the input image's structures. We also introduce the Alpha Reliability
Propagation, a novel technique designed to maximize the utility of available
guidance by selectively enhancing the trimap regions with confident alpha
information, thus simplifying the correction task. To train the correction
module, we devise specialized loss functions that target the accuracy of the
alpha matte's edges and the consistency of its opaque and transparent regions.
We evaluate our model across several image matting benchmarks, and the results
indicate that DiffusionMat consistently outperforms existing methods. Project
page at~\url{https://cnnlstm.github.io/DiffusionMat
- Abstract（参考訳）: 本稿では,粗いアルファマットから洗練されたアルファマットへの遷移に拡散モデルを用いる新しい画像マッティングフレームワークである diffusionmat を提案する。
提案手法は,トリマップをアルファマット予測の緩いガイダンスとしてのみ利用する従来の手法と異なり,画像マッチングを逐次改良学習プロセスとして扱う。
このプロセスは、トリマップへのノイズの追加から始まり、事前訓練された拡散モデルを用いてそれらを反復的に分解し、クリーンなアルファマットへの予測を漸進的に導く。
我々のフレームワークのキーとなる革新は、各復調ステップで出力を調整し、最終的な結果が入力画像の構造と一致していることを保証する補正モジュールである。
また、信頼性の高いアルファ情報を用いてトリマップ領域を選択的に拡張することにより、利用可能なガイダンスの有用性を最大化する新しい手法であるAlpha Reliability Propagationを導入する。
修正モジュールをトレーニングするために,アルファマットのエッジの精度と不透明かつ透明な領域の整合性を目標とした特別な損失関数を考案した。
本研究では,複数の画像マットングベンチマークを用いてモデルの評価を行い,distributionmatが既存の手法を一貫して上回っていることを示す。
Project page at~\url{https://cnnlstm.github.io/DiffusionMat
関連論文リスト
- Texture, Shape and Order Matter: A New Transformer Design for Sequential DeepFake Detection [57.100891917805086]
シーケンシャルディープフェイク検出は、順番に操作シーケンスを予測する新しいタスクである。
本稿では, テクスチャ, 形状, 操作順序の3つの視点を探索し, TSOM と呼ばれる新しいトランスフォーマーの設計について述べる。
論文 参考訳（メタデータ） (2024-04-22T04:47:52Z) - Learning Saliency From Fixations [0.9208007322096533]
本稿では, 画像の並列デコードを利用して, 修正マップからのみサリエンシを学習する, 画像中のサリエンシ予測のための新しいアプローチを提案する。
我々のアプローチは、Saliency TRansformer (SalTR) と呼ばれ、SaliconとMIT300ベンチマークの最先端のアプローチと同等のスコアを得る。
論文 参考訳（メタデータ） (2023-11-23T16:04:41Z) - Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。
我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。
我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
論文 参考訳（メタデータ） (2023-09-18T09:36:24Z) - Disentangled Pre-training for Image Matting [74.10407744483526]
画像マッチングは、深層モデルのトレーニングをサポートするために高品質なピクセルレベルの人間のアノテーションを必要とする。
本研究では、無限個のデータを活用する自己教師付き事前学習手法を提案し、マッチング性能を向上する。
論文 参考訳（メタデータ） (2023-04-03T08:16:02Z) - Markup-to-Image Diffusion Models with Scheduled Sampling [111.30188533324954]
画像生成の最近の進歩に基づき,画像にマークアップを描画するためのデータ駆動型アプローチを提案する。
このアプローチは拡散モデルに基づいており、デノナイジング操作のシーケンスを用いてデータの分布をパラメータ化する。
数式(La)、テーブルレイアウト(HTML)、シート音楽(LilyPond)、分子画像(SMILES)の4つのマークアップデータセットの実験を行った。
論文 参考訳（メタデータ） (2022-10-11T04:56:12Z) - Semantic Image Matting [75.21022252141474]
交配領域のフレームワークセマンティクス分類に組み込むことで、より良いアルファマットを得る方法を紹介します。
具体的には,20種類のマットングパターンを検討し,学習し,従来の三角マップを意味的三角マップに拡張する提案を行う。
複数のベンチマーク実験により,本手法は他の手法よりも優れており,最も競争力のある最先端性能を実現していることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-16T16:21:02Z) - High-Resolution Deep Image Matting [39.72708676319803]
HDMattは、高解像度入力のための最初のディープラーニングベースの画像マッチングアプローチである。
提案手法は,Adobe Image Matting と AlphaMatting のベンチマーク上で,最先端の性能を新たに設定する。
論文 参考訳（メタデータ） (2020-09-14T17:53:15Z) - $F$, $B$, Alpha Matting [0.0]
我々は,前景や背景の色を予測するために,アルファ・マッティング・ネットワークの低コストな修正を提案する。
提案手法は, アルファマットと合成色質のためのAdobe composition-1kデータセット上で, アートパフォーマンスの状態を達成している。
論文 参考訳（メタデータ） (2020-03-17T13:27:51Z) - Background Matting [0.40611352512781856]
本稿では,アルファ計算における背景情報とトリマップの利用効果について検討する。
この目的を達成するため、AlphaGanが採用され、背景情報を追加入力チャネルとして処理するように変更される。
論文 参考訳（メタデータ） (2020-02-11T14:46:57Z) - Natural Image Matting via Guided Contextual Attention [18.034160025888056]
本研究は,自然画像マッチングのための新しいエンド・ツー・エンド・アプローチを,ガイド付きコンテキストアテンションモジュールで開発する。
提案手法は親和性に基づく手法の情報フローを模倣し,深層ニューラルネットワークで学習した豊富な特徴を同時に利用することができる。
composition-1k test set と alphamatting.com ベンチマークデータセットの実験結果から,本手法は自然な画像マッチングにおける最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-01-13T05:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。