論文の概要: Image Augmentation Agent for Weakly Supervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2412.20439v1
• Date: Sun, 29 Dec 2024 11:32:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:20.343131
• Title: Image Augmentation Agent for Weakly Supervised Semantic Segmentation
• Title（参考訳）: 弱教師付きセマンティックセグメンテーションのための画像増強剤
• Authors: Wangyu Wu, Xianglin Qiu, Siqi Song, Zhenhong Chen, Xiaowei Huang, Fei Ma, Jimin Xiao,
• Abstract要約: 弱教師付きセマンティックセマンティックセグメンテーション (WSSS) は画像レベルラベルのみを用いて顕著な進歩を遂げた。 本稿では,データ生成の観点からWSSSを拡張できるIAA(Image Augmentation Agent)という新しいアプローチを提案する。 IAAは主に、大きな言語モデル(LLM)と拡散モデルを利用してWSSS用の追加画像を自動的に生成する拡張エージェントを設計する。
• 参考スコア（独自算出の注目度）: 19.654959889052638
• License:
• Abstract: Weakly-supervised semantic segmentation (WSSS) has achieved remarkable progress using only image-level labels. However, most existing WSSS methods focus on designing new network structures and loss functions to generate more accurate dense labels, overlooking the limitations imposed by fixed datasets, which can constrain performance improvements. We argue that more diverse trainable images provides WSSS richer information and help model understand more comprehensive semantic pattern. Therefore in this paper, we introduce a novel approach called Image Augmentation Agent (IAA) which shows that it is possible to enhance WSSS from data generation perspective. IAA mainly design an augmentation agent that leverages large language models (LLMs) and diffusion models to automatically generate additional images for WSSS. In practice, to address the instability in prompt generation by LLMs, we develop a prompt self-refinement mechanism. It allow LLMs to re-evaluate the rationality of generated prompts to produce more coherent prompts. Additionally, we insert an online filter into diffusion generation process to dynamically ensure the quality and balance of generated images. Experimental results show that our method significantly surpasses state-of-the-art WSSS approaches on the PASCAL VOC 2012 and MS COCO 2014 datasets.
• Abstract（参考訳）: 弱教師付きセマンティックセマンティックセグメンテーション (WSSS) は画像レベルラベルのみを用いて顕著な進歩を遂げた。 しかし、既存のWSSSメソッドのほとんどは、より正確な高密度なラベルを生成するために新しいネットワーク構造と損失関数を設計することに焦点を当てており、パフォーマンス改善を制限できる固定データセットによって課される制限を見越している。 我々は、より多様なトレーニング可能なイメージがWSSSのリッチな情報を提供し、モデルがより包括的なセマンティックパターンを理解するのに役立つと主張している。 そこで本研究では,データ生成の観点からWSSSを拡張可能な画像拡張エージェント(IAA)を提案する。 IAAは主に、大きな言語モデル(LLM)と拡散モデルを利用してWSSS用の追加画像を自動的に生成する拡張エージェントを設計する。 実際には、LSMによる迅速な生成の不安定性に対処するために、迅速な自己抑制機構を開発する。 LLMは生成したプロンプトの合理性を再評価し、よりコヒーレントなプロンプトを生成する。 さらに、オンラインフィルタを拡散生成プロセスに挿入し、生成した画像の品質とバランスを動的に保証する。 実験の結果,本手法はPASCAL VOC 2012およびMS COCO 2014データセットにおいて,最先端のWSSSアプローチを大幅に上回ることがわかった。

関連論文リスト

• Global Semantic-Guided Sub-image Feature Weight Allocation in High-Resolution Large Vision-Language Models [50.98559225639266]
  画像全体の意味的関連性が高いサブイメージは、モデルの視覚的理解能力を維持するためによりリッチな視覚情報をカプセル化する。 Global Semantic-Guided Weight Allocator (GSWA)モジュールはその相対情報密度に基づいてサブイメージに重みを割り当てる。 SleighVLは軽量だがハイパフォーマンスなモデルであり、同等のパラメータを持つモデルよりも優れており、より大きなモデルと競合し続けている。
  論文  参考訳（メタデータ） (2025-01-24T06:42:06Z)
• Nested Diffusion Models Using Hierarchical Latent Priors [23.605302440082994]
  ネスト拡散モデル(ネスト拡散モデル)は、効率的で強力な階層的生成フレームワークである。 提案手法では,様々な意味レベルで潜伏変数を段階的に生成するために,一連の拡散モデルを用いる。 これらの潜伏変数を構築するために,事前学習した視覚エンコーダを用いて,強い意味的視覚表現を学習する。
  論文  参考訳（メタデータ） (2024-12-08T16:13:39Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Boosting Few-Shot Detection with Large Language Models and Layout-to-Image Synthesis [1.1633929083694388]
  本稿では,最先端な生成的拡張アプローチを超越した,少数ショット検出のためのフレームワークを提案する。 我々は,新しいレイアウト対応CLIPスコアをサンプルランキングに導入し,生成したレイアウトと画像の密結合を可能にする。 アプローチでは,COCO5-,10-,30ショット設定でYOLOX-Sベースラインを140%以上,50%,35%のmAPで強化する。
  論文  参考訳（メタデータ） (2024-10-09T12:57:45Z)
• DALDA: Data Augmentation Leveraging Diffusion Model and LLM with Adaptive Guidance Scaling [6.7206291284535125]
  大規模言語モデル(LLM)と拡散モデル(DM)を利用した効果的なデータ拡張フレームワークを提案する。 提案手法は,合成画像の多様性を増大させる問題に対処する。 本手法は, 目標分布の付着性を維持しつつ, 多様性を向上した合成画像を生成する。
  論文  参考訳（メタデータ） (2024-09-25T14:02:43Z)
• Can Generative Models Improve Self-Supervised Representation Learning? [0.7999703756441756]
  生成モデルを利用して意味論的に一貫した画像拡張を生成することにより、自己教師付き学習(SSL)パラダイムを充実させるフレームワークを提案する。 その結果,下流タスクにおいて,学習した視覚表現の精度を最大10%向上させることができた。
  論文  参考訳（メタデータ） (2024-03-09T17:17:07Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form Layout-to-Image Generation [68.42476385214785]
  本稿では,レイアウトから派生した特徴写像を用いた空間意味マップガイド(SSMG)拡散モデルを提案する。 SSMGは,従来の研究に比べて空間的,意味的な制御性に優れた生成品質を実現する。 また,RSA(Relation-Sensitive Attention)機構とLSA(Location-Sensitive Attention)機構を提案する。
  論文  参考訳（メタデータ） (2023-08-20T04:09:12Z)
• Interactive Data Synthesis for Systematic Vision Adaptation via LLMs-AIGCs Collaboration [48.54002313329872]
  本稿では,ChatGenImageというアノテーション付きデータ拡張の新しいパラダイムを提案する。 その中核となる考え方は、多様なモデルの補完的な強みを活用して、インタラクティブなデータ拡張のための高効率でユーザフレンドリなパイプラインを確立することである。 筆者らはChatGenImageフレームワークから得られた興味深い結果を提示し, 系統的視覚適応のための合成データの強力なポテンシャルを実証する。
  論文  参考訳（メタデータ） (2023-05-22T07:53:36Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。