論文の概要: Making Training-Free Diffusion Segmentors Scale with the Generative Power

• arxiv url: http://arxiv.org/abs/2603.06178v2
• Date: Tue, 10 Mar 2026 12:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 12:59:12.933816
• Title: Making Training-Free Diffusion Segmentors Scale with the Generative Power
• Title（参考訳）: 発電力による無訓練拡散セグメンタの作成
• Authors: Benyuan Meng, Qianqian Xu, Zitai Wang, Xiaochun Cao, Longtao Huang, Qingming Huang,
• Abstract要約: 一連の研究は、事前学習された拡散モデルを、それ以上の訓練をせずに意味的セグメンテーションに適応することに焦点を当てている。 本稿では,自動アグリゲーションと画素単位の再スケーリングという2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 118.72472901404814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As powerful generative models, text-to-image diffusion models have recently been explored for discriminative tasks. A line of research focuses on adapting a pre-trained diffusion model to semantic segmentation without any further training, leading to what training-free diffusion segmentors. These methods typically rely on cross-attention maps from the model's attention layers, which are assumed to capture semantic relationships between image pixels and text tokens. Ideally, such approaches should benefit from more powerful diffusion models, i.e., stronger generative capability should lead to better segmentation. However, we observe that existing methods often fail to scale accordingly. To understand this issue, we identify two underlying gaps: (i) cross-attention is computed across multiple heads and layers, but there exists a discrepancy between these individual attention maps and a unified global representation. (ii) Even when a global map is available, it does not directly translate to accurate semantic correlation for segmentation, due to score imbalances among different text tokens. To bridge these gaps, we propose two techniques: auto aggregation and per-pixel rescaling, which together enable training-free segmentation to better leverage generative capability. We evaluate our approach on standard semantic segmentation benchmarks and further integrate it into a generative technique, demonstrating both improved performance broad applicability. Codes are at https://github.com/Darkbblue/goca.
• Abstract（参考訳）: 強力な生成モデルとして、テキストから画像への拡散モデルが近年、識別的タスクのために研究されている。 一連の研究は、事前学習された拡散モデルを、それ以上の訓練をせずにセマンティックセグメンテーションに適応させることに重点を置いている。 これらの手法は一般的に、画像ピクセルとテキストトークン間の意味的関係を捉えていると仮定される、モデルの注意層からの相互注意マップに依存する。 理想的には、そのようなアプローチはより強力な拡散モデルの恩恵を受ける。 しかし,既存の手法はスケールに失敗することが多い。 この問題を理解するために、私たちは2つの根本的なギャップを特定します。 (i)複数の頭と層にまたがって交差注意が計算されるが、これらの個別の注意マップと統一されたグローバル表現との間には相違点が存在する。 (二)グローバルマップが利用可能である場合でも、異なるテキストトークン間のスコアの不均衡のため、セグメント化の正確な意味的相関に直接変換しない。 これらのギャップを埋めるために,オートアグリゲーションと画素単位のリスケーリングという2つの手法を提案する。 提案手法は,標準的なセマンティックセグメンテーションベンチマークで評価され,さらに生成技術に統合され,性能の向上と適用性の向上が実証された。 コードはhttps://github.com/Darkbblue/goca.comにある。

関連論文リスト

• GS: Generative Segmentation via Label Diffusion [59.380173266566715]
  言語駆動のイメージセグメンテーションは、自然言語表現に対応する画像の領域を分割するモデルを必要とする、視覚言語理解の基本的なタスクである。 近年の拡散モデルがこの領域に導入されているが、既存のアプローチは画像中心のままである。 生成タスクとしてセグメンテーション自体を定式化する新しいフレームワークであるGS(Generative Label)を提案する。 実験の結果,GSは既存の差別的・拡散的手法を著しく上回り,言語駆動セグメンテーションのための新たな最先端技術が確立された。
  論文  参考訳（メタデータ） (2025-08-27T16:28:15Z)
• FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [49.80911683739506]
  我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。 我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。 当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
  論文  参考訳（メタデータ） (2024-03-29T10:38:25Z)
• Enhancing Semantic Fidelity in Text-to-Image Synthesis: Attention Regulation in Diffusion Models [23.786473791344395]
  拡散モデルにおけるクロスアテンション層は、生成プロセス中に特定のトークンに不均等に集中する傾向がある。 本研究では,アテンションマップと入力テキストプロンプトを一致させるために,アテンション・レギュレーション(アテンション・レギュレーション)という,オン・ザ・フライの最適化手法を導入する。 実験結果から,本手法が他のベースラインより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-11T02:18:27Z)
• Open-Vocabulary Semantic Segmentation with Decoupled One-Pass Network [26.97153244517095]
  入力画像の視覚言語モデルに1つのパスしか必要としないネットワークを提案する。 本稿ではまず,事前学習した視覚エンコーダにおけるパッチ埋め込み間の有害な干渉を抑制するために,パッチ重大度と呼ばれる新しいネットワーク適応手法を提案する。 そこで我々は,ネットワークがより差別的な特徴に着目するよう促すために,分類アンカー学習を提案する。
  論文  参考訳（メタデータ） (2023-04-03T17:59:21Z)
• Label-Efficient Semantic Segmentation with Diffusion Models [27.01899943738203]
  拡散モデルは意味的セグメンテーションの道具としても機能することを示した。 特に、いくつかの事前訓練拡散モデルに対して、逆拡散過程のマルコフステップを実行するネットワークからの中間活性化について検討する。 これらのアクティベーションは、入力画像から意味情報を効果的にキャプチャし、セグメンテーション問題に対して優れたピクセルレベルの表現であることを示す。
  論文  参考訳（メタデータ） (2021-12-06T15:55:30Z)
• Semantic Distribution-aware Contrastive Adaptation for Semantic Segmentation [50.621269117524925]
  ドメイン適応セマンティックセグメンテーション(ドメイン適応セマンティックセグメンテーション)とは、特定のソースドメインのアノテーションだけで特定のターゲットドメイン上で予測を行うことを指す。 画素ワイド表示アライメントを可能にする意味分布対応コントラスト適応アルゴリズムを提案する。 複数のベンチマークでSDCAを評価し、既存のアルゴリズムを大幅に改善します。
  論文  参考訳（メタデータ） (2021-05-11T13:21:25Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。