論文の概要: Attention as Annotation: Generating Images and Pseudo-masks for Weakly Supervised Semantic Segmentation with Diffusion

• arxiv url: http://arxiv.org/abs/2309.01369v1
• Date: Mon, 4 Sep 2023 05:34:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 19:54:54.396989
• Title: Attention as Annotation: Generating Images and Pseudo-masks for Weakly Supervised Semantic Segmentation with Diffusion
• Title（参考訳）: アノテーションとしての注意:拡散を伴う弱監視セマンティックセグメンテーションのための画像と擬似マスクの生成
• Authors: Ryota Yoshihashi, Yuya Otsuka, Kenji Doi, Tomohiro Tanaka
• Abstract要約: 本稿では,実際の画像や手動のアノテーションに依存しない意味的セグメンテーションのトレーニング手法を提案する。 提案手法は,テキスト・ツー・イメージ拡散モデルにより生成された画像と内部のテキスト・ツー・イメージ・クロスアテンションを併用して,疑似マスクの監督を行う。 実験により、attn2maskは、セグメント化に実際のトレーニングデータを使用しないPASCAL VOCで有望な結果を達成することを示し、また、よりクラスのシナリオであるImageNetセグメンテーションにセグメンテーションをスケールアップすることも有用である。
• 参考スコア（独自算出の注目度）: 10.873354142424697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although recent advancements in diffusion models enabled high-fidelity and diverse image generation, training of discriminative models largely depends on collections of massive real images and their manual annotation. Here, we present a training method for semantic segmentation that neither relies on real images nor manual annotation. The proposed method {\it attn2mask} utilizes images generated by a text-to-image diffusion model in combination with its internal text-to-image cross-attention as supervisory pseudo-masks. Since the text-to-image generator is trained with image-caption pairs but without pixel-wise labels, attn2mask can be regarded as a weakly supervised segmentation method overall. Experiments show that attn2mask achieves promising results in PASCAL VOC for not using real training data for segmentation at all, and it is also useful to scale up segmentation to a more-class scenario, i.e., ImageNet segmentation. It also shows adaptation ability with LoRA-based fine-tuning, which enables the transfer to a distant domain i.e., Cityscapes.
• Abstract（参考訳）: 近年の拡散モデルの発展により高忠実度および多彩な画像生成が可能になったが、識別モデルの訓練は主に大量の実画像と手動アノテーションの収集に依存する。 本稿では,実際の画像や手動のアノテーションに依存しないセグメンテーションのトレーニング手法を提案する。 提案手法は,テキストから画像への拡散モデルによって生成された画像と,その内部テキストから画像への相互接続を監督的擬似マスクとして用いる。 テキスト対画像生成装置は画像キャプチャペアで訓練されているが、画素単位のラベルがないため、attn2maskは全体としては弱い教師付きセグメンテーション方法と見なすことができる。 実験により、attn2maskは、セグメント化に実際のトレーニングデータを使用しないPASCAL VOCで有望な結果を達成することを示し、また、よりクラスのシナリオであるImageNetセグメンテーションにセグメンテーションをスケールアップすることも有用である。 また、LoRAベースの微調整により、遠く離れた領域、すなわちCityscapesへの転送を可能にする。

関連論文リスト

• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• Enhancing Label-efficient Medical Image Segmentation with Text-guided Diffusion Models [5.865983529245793]
  TextDiffは、安価な医療用テキストアノテーションを通じて意味表現を改善する。 その結果,TextDiffは,少数のトレーニングサンプルのみで,最先端のマルチモーダルセグメンテーション手法よりもはるかに優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-07T10:21:08Z)
• IIDM: Image-to-Image Diffusion Model for Semantic Image Synthesis [8.080248399002663]
  本稿では,セマンティック画像合成を画像認識タスクとして扱う。 スタイル参照はまずランダムノイズで汚染され、その後IIDMによって徐々に認知される。 改良,色変換,モデルアンサンブルの3つの手法が提案され,生成品質がさらに向上した。
  論文  参考訳（メタデータ） (2024-03-20T08:21:00Z)
• Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
  PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。 認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
  論文  参考訳（メタデータ） (2024-02-28T06:07:07Z)
• MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
  テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。 本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。 この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
  論文  参考訳（メタデータ） (2023-09-08T15:53:37Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• LD-ZNet: A Latent Diffusion Approach for Text-Based Image Segmentation [10.623430999818925]
  本稿では,インターネット規模のデータセットに基づいて学習した潜在拡散モデル(LDM)を用いて,実画像とAI画像のセグメンテーションを行う手法を提案する。 自然画像のテキストと画像のセグメンテーションにおいて,標準ベースラインよりも6%向上することを示す。 AI生成画像では、最先端技術と比較して20%近く改善されている。
  論文  参考訳（メタデータ） (2023-03-22T06:55:01Z)
• Domain-invariant Prototypes for Semantic Segmentation [30.932130453313537]
  ドメイン適応型セマンティックセグメンテーションのためのドメイン不変のプロトタイプを学習する。 本手法は,1段階の訓練のみを伴い,大規模な未注釈対象画像に対してトレーニングを行う必要はない。
  論文  参考訳（メタデータ） (2022-08-12T02:21:05Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Scene Text Synthesis for Efficient and Effective Deep Network Training [62.631176120557136]
  我々は,背景画像に前景オブジェクトを埋め込むことで,注釈付き訓練画像を構成する革新的な画像合成技術を開発した。 提案手法は,ディープネットワークトレーニングにおける合成画像の有用性を高める2つの重要な要素から構成される。 複数の公開データセットに対する実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2019-01-26T10:15:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。