論文の概要: Matting by Generation
- arxiv url: http://arxiv.org/abs/2407.21017v1
- Date: Tue, 30 Jul 2024 17:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 16:21:06.176996
- Title: Matting by Generation
- Title（参考訳）: 世代別マッティング
- Authors: Zhixiang Wang, Baiang Li, Jian Wang, Yu-Lun Liu, Jinwei Gu, Yung-Yu Chuang, Shin'ichi Satoh,
- Abstract要約: 本稿では,従来の回帰に基づく課題を再定義する,画像マッチングのための革新的なアプローチを提案する。
我々のモデルに優れた解像度とディテールでマットを生産する権限を与える、新しいアーキテクチャ革新を提示します。
- 参考スコア（独自算出の注目度）: 36.10731452759205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces an innovative approach for image matting that redefines the traditional regression-based task as a generative modeling challenge. Our method harnesses the capabilities of latent diffusion models, enriched with extensive pre-trained knowledge, to regularize the matting process. We present novel architectural innovations that empower our model to produce mattes with superior resolution and detail. The proposed method is versatile and can perform both guidance-free and guidance-based image matting, accommodating a variety of additional cues. Our comprehensive evaluation across three benchmark datasets demonstrates the superior performance of our approach, both quantitatively and qualitatively. The results not only reflect our method's robust effectiveness but also highlight its ability to generate visually compelling mattes that approach photorealistic quality. The project page for this paper is available at https://lightchaserx.github.io/matting-by-generation/
- Abstract（参考訳）: 本稿では,従来の回帰に基づく課題を再定義する,画像マッチングのための革新的なアプローチを提案する。
本手法は,学習前知識の豊富な潜伏拡散モデルを用いて,マッチングプロセスの正規化を行う。
我々のモデルに優れた解像度とディテールでマットを生産する権限を与える、新しいアーキテクチャ革新を提示します。
提案手法は多用途であり,ガイドレスとガイダンスベースの画像マッチングを併用できる。
3つのベンチマークデータセットに対する包括的な評価は、定量的にも定性的にも、我々のアプローチの優れた性能を示している。
この結果は,本手法の有効性を反映するだけでなく,光現実的品質にアプローチする視覚的に魅力的なマットを生成する能力も強調する。
この論文のプロジェクトページはhttps://lightchaserx.github.io/matting-by-generation/で公開されている。
関連論文リスト
- Weak Supervision Dynamic KL-Weighted Diffusion Models Guided by Large Language Models [0.0]
本稿では,大言語モデルと拡散モデルを組み合わせることで,テキスト・画像生成を改善する新しい手法を提案する。
提案手法は, 学習済みLLMから意味的理解を取り入れ, 生成過程の導出を行う。
本手法は,テキスト記述による画像の視覚的品質とアライメントを大幅に改善する。
論文 参考訳（メタデータ） (2025-02-02T15:43:13Z) - Is Contrastive Distillation Enough for Learning Comprehensive 3D Representations? [55.99654128127689]
クロスモーダル・コントラスト蒸留は近年,有効3次元表現の学習のために研究されている。
既存の手法は主にモーダリティ共有の特徴に焦点を合わせ、事前学習過程におけるモーダリティ固有の特徴を無視している。
本稿では,これらの欠点に対処する新しいフレームワークCMCRを提案する。
論文 参考訳（メタデータ） (2024-12-12T06:09:49Z) - MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。
離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。
MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-14T17:57:18Z) - Masked Modeling for Self-supervised Representation Learning on Vision
and Beyond [69.64364187449773]
仮面モデリングは、トレーニング中に比例的にマスキングされる元のデータの一部を予測する、独特なアプローチとして現れてきた。
マスクモデリングにおけるテクニックの詳細については,多様なマスキング戦略,ターゲット回復,ネットワークアーキテクチャなどについて詳述する。
我々は、現在の手法の限界について議論し、マスクモデリング研究を進めるためのいくつかの道のりを指摘した。
論文 参考訳（メタデータ） (2023-12-31T12:03:21Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳（メタデータ） (2023-08-18T08:40:38Z) - UMat: Uncertainty-Aware Single Image High Resolution Material Capture [2.416160525187799]
本研究では, 物体の単一拡散像から正規性, 特異性, 粗さを復元する学習手法を提案する。
本手法は材料デジタル化における不確実性をモデル化する問題に最初に対処する手法である。
論文 参考訳（メタデータ） (2023-05-25T17:59:04Z) - IRGen: Generative Modeling for Image Retrieval [82.62022344988993]
本稿では,画像検索を生成モデルの一種として再フレーミングする新しい手法を提案する。
我々は、イメージを意味単位の簡潔なシーケンスに変換するという技術的課題に対処するため、IRGenと呼ばれるモデルを開発した。
本モデルは,広範に使用されている3つの画像検索ベンチマークと200万件のデータセットに対して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-03-17T17:07:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。