論文の概要: SDMatte: Grafting Diffusion Models for Interactive Matting

• arxiv url: http://arxiv.org/abs/2508.00443v1
• Date: Fri, 01 Aug 2025 09:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.807497
• Title: SDMatte: Grafting Diffusion Models for Interactive Matting
• Title（参考訳）: SDMatte:インタラクティブなマッチングのための拡散モデル
• Authors: Longfei Huang, Yu Liang, Hao Zhang, Jinwei Chen, Wei Dong, Lunde Chen, Wanyu Liu, Bo Li, Pengtao Jiang,
• Abstract要約: 本稿では,拡散駆動型インタラクティブ・マッティングモデルSDMatteを提案する。 まず、拡散モデルの強力な先行性を利用して、テキスト駆動の相互作用能力を視覚的プロンプト駆動の相互作用能力に変換する。 第2に、視覚的プロンプトの座標埋め込みと対象物の不透明埋め込みを統合し、空間的位置情報に対するSDMatteの感度を高める。 第3に,視覚的プロンプトによって特定された領域に集中できるマスキング型自己注意機構を提案する。
• 参考スコア（独自算出の注目度）: 16.575733536011658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent interactive matting methods have shown satisfactory performance in capturing the primary regions of objects, but they fall short in extracting fine-grained details in edge regions. Diffusion models trained on billions of image-text pairs, demonstrate exceptional capability in modeling highly complex data distributions and synthesizing realistic texture details, while exhibiting robust text-driven interaction capabilities, making them an attractive solution for interactive matting. To this end, we propose SDMatte, a diffusion-driven interactive matting model, with three key contributions. First, we exploit the powerful priors of diffusion models and transform the text-driven interaction capability into visual prompt-driven interaction capability to enable interactive matting. Second, we integrate coordinate embeddings of visual prompts and opacity embeddings of target objects into U-Net, enhancing SDMatte's sensitivity to spatial position information and opacity information. Third, we propose a masked self-attention mechanism that enables the model to focus on areas specified by visual prompts, leading to better performance. Extensive experiments on multiple datasets demonstrate the superior performance of our method, validating its effectiveness in interactive matting. Our code and model are available at https://github.com/vivoCameraResearch/SDMatte.
• Abstract（参考訳）: 近年のインタラクティブ・マッティング法は, 物体の一次領域を捉えるのに十分な性能を示したが, エッジ領域の細粒度を抽出するには不十分であった。 何十億もの画像テキストペアでトレーニングされた拡散モデルは、高度に複雑なデータ分散をモデル化し、現実的なテクスチャの詳細を合成する際、頑健なテキスト駆動インタラクション能力を示しながら、インタラクティブなマッティングのための魅力的なソリューションであることを示す。 この目的のために,拡散駆動型インタラクティブ・マッティングモデルであるSDMatteを提案する。 まず、拡散モデルの強力な先行性を利用して、テキスト駆動インタラクション能力を視覚的プロンプト駆動インタラクション能力に変換し、インタラクティブなマッティングを可能にする。 第2に,対象物体の視覚的プロンプトの座標埋め込みと不透明な埋め込みを統合し,空間的位置情報や不透明度情報に対するSDMatteの感度を高める。 第3に,視覚的プロンプトによって特定された領域に集中できるマスキング型自己注意機構を提案する。 複数のデータセットに対する大規模な実験により,本手法の優れた性能を示し,インタラクティブなマッティングの有効性を検証した。 私たちのコードとモデルはhttps://github.com/vivoCameraResearch/SDMatte.comで公開されています。

関連論文リスト

• Affogato: Learning Open-Vocabulary Affordance Grounding with Automated Data Generation at Scale [41.693908591580175]
  我々は、事前学習された部分認識型ビジョンバックボーンとテキスト条件のヒートマップデコーダを利用するビジョン言語モデルを開発した。 我々のモデルは既存の2Dおよび3Dベンチマークにおいて有望な性能を達成し、特にオープン語彙のクロスドメイン一般化において有効であることを示す。
  論文  参考訳（メタデータ） (2025-06-13T17:57:18Z)
• Contrastive Language-Image Learning with Augmented Textual Prompts for 3D/4D FER Using Vision-Language Model [19.091907959433073]
  AffectVLMは3D/4Dデータから顔の感情を、意味的に豊かで視覚的に包括的に理解するために、多視点を統合した視覚言語モデルである。 本稿では,モデル収束を最適な特徴表現へ加速する,新しい勾配に優しい損失関数と組み合わせた共同表現学習フレームワークを提案する。 また、リアルタイム対話型推論のためのStreamlitアプリを開発し、分散学習のためのモデルを可能にします。
  論文  参考訳（メタデータ） (2025-04-28T12:36:14Z)
• Generating Fine Details of Entity Interactions [17.130839907951877]
  本稿では,3つの主要なシナリオをカバーする1000のきめ細かいプロンプトを持つインタラクション中心のデータセットであるInterActingを紹介する。 本稿では,相互作用生成問題に対処する分解強化手法を提案する。 当社のアプローチであるDetailScribeは、VLMを用いて生成した画像を批判し、拡散過程にターゲットの介入を適用する。
  論文  参考訳（メタデータ） (2025-04-11T17:24:58Z)
• IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
  IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。 マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。 次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
  論文  参考訳（メタデータ） (2025-04-09T12:36:48Z)
• Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation [47.940270914254285]
  ViTaM-Dは、動的手・物体の相互作用を分散触覚で再構築するための視覚触覚フレームワークである。 DF-Fieldは手動物体相互作用における運動エネルギーとポテンシャルエネルギーを利用する力覚接触表現である。 ViTaM-Dは、剛性および変形性の両方のオブジェクトの復元精度において、最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-11-14T16:29:45Z)
• Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
  テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
  論文  参考訳（メタデータ） (2024-10-26T12:00:33Z)
• Triple Modality Fusion: Aligning Visual, Textual, and Graph Data with Large Language Models for Multi-Behavior Recommendations [13.878297630442674]
  本稿では,三重モダリティの融合を活かした,多行動レコメンデーションのための新しいフレームワークを提案する。 提案モデルであるTriple Modality Fusion (TMF)は,大規模言語モデル(LLM)のパワーを利用して,これらの3つのモダリティを調整・統合する。 大規模な実験により,提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2024-10-16T04:44:15Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Mutual Graph Learning for Camouflaged Object Detection [31.422775969808434]
  主な課題は、前景の物体と背景の環境との固有の類似性によって、深いモデルによって抽出された特徴が区別できないことである。 我々は,正規格子からグラフ領域への従来の相互学習の考え方を一般化する,新しい相互グラフ学習モデルを設計する。 すべてのタスク間インタラクションをモデリングするために共有関数を使用するほとんどの相互学習アプローチとは対照的に、mglは異なる補完関係を扱うための型付き関数を備えている。
  論文  参考訳（メタデータ） (2021-04-03T10:14:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。