論文の概要: MAVISEG: Manifold Propagation and Visual Prototypes for Zero-Shot Open-Vocabulary Segmentation in Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2608.05878v1
- Date: Thu, 06 Aug 2026 11:00:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.743856
- Title: MAVISEG: Manifold Propagation and Visual Prototypes for Zero-Shot Open-Vocabulary Segmentation in Diffusion Transformers
- Title（参考訳）: MAVISEG: 拡散変換器におけるゼロショットオープンボキャブラリセグメンテーションのためのマニフォールド伝搬と視覚プロトタイプ
- Abstract要約: テキストから画像への拡散変換器は、オブジェクトとシーンを学習して生成する。
State-of-the-art属性メソッドは各ピクセルを独立にスコアし、その特徴を固定テキスト由来のクラス表現と比較する。
我々はこれらの信号を回復する訓練不要な精錬層MAVISEGを提案する。
- 参考スコア（独自算出の注目度）: 8.639472787089009
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Text-to-image diffusion transformers learn about objects and scenes by learning to generate them, making them strong candidates for training-free zero-shot open-vocabulary semantic segmentation. State-of-the-art attribution methods score each pixel independently, comparing its features against a fixed text-derived class representation, whether as an output-space similarity or as a cross-attention weight. This discards structured signals the model itself exposes: the temporal structure of the generative trajectory, the visual appearance statistics of each concept, and the image's own pairwise feature geometry. We present MAVISEG, a training-free refinement layer that recovers these signals. Because its operators consume only a pixel-by-concept score field and a pixel feature space, MAVISEG is capture-agnostic rather than tied to one attribution method. Across six benchmarks it achieves the strongest overall results among training-free methods, including the best mIoU on every benchmark. Interestingly, gains are largest where the initial capture is weakest, and individual operators contribute depending on the noise in the field they refine. Our results indicate that diffusion transformers carry more concept-level information than current attribution methods recover, and that much of it is lost on the way to the mask rather than absent from the model.
- Abstract（参考訳）: テキストから画像への拡散変換器は、オブジェクトとシーンを学習して生成し、トレーニング不要なゼロショットセマンティックセマンティックセマンティックセマンティクスの強力な候補となる。
State-of-the-art Attributionメソッドは、各ピクセルを独立してスコアし、その特徴を固定テキスト由来のクラス表現と比較する。
生成軌道の時間的構造、各概念の視覚的外観統計、および画像のペアワイズ特徴幾何学である。
我々はこれらの信号を回復する訓練不要な精錬層MAVISEGを提案する。
演算子は画素単位のスコアフィールドと画素特徴空間しか消費しないため、MAVISEGは1つの属性メソッドに縛られるのではなく、キャプチャ非依存である。
6つのベンチマークで、すべてのベンチマークで最高のmIoUを含む、トレーニング不要のメソッドの中で、最も高い総合的な結果を達成する。
興味深いことに、ゲインは、最初のキャプチャが最も弱く、個々のオペレーターが精製するフィールドのノイズに応じて貢献するときに最大である。
以上の結果から,拡散変圧器は現在の帰属法よりも概念レベルの情報を持ち,そのほとんどがモデルに欠くのではなく,マスクに向かう途中で失われることが示唆された。
関連論文リスト
- Learning Deep Modality-Shared Self-Expressiveness for Image Clustering with Textual Information [10.086588302174263]
我々は、DeepMORSE(DeepMORSE)と呼ばれる原理的アプローチを提案する。
DeepMORSEは、モダリティ共有自己表現モデルを通じて、クロスモーダル構造を発見し、同時にモダリティ固有の部分空間の結合に対応する構造化表現を学習する。
広く使用されている6つの画像クラスタリングベンチマークでDeepMORSEを評価し、3%を超えるパフォーマンス改善を観察した。
論文 参考訳（メタデータ） (2026-08-09T02:23:49Z) - Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。
マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。
その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
論文 参考訳（メタデータ） (2026-08-01T12:32:31Z) - Representation Forcing for Bottleneck-Free Unified Multimodal Models [76.99907273945493]
統一マルチモーダルモデル(UMM)は、単一モデルにおける知覚と生成を扱うことを目的としている。
既存のUMMは、画像生成のために別々に訓練された凍結したVAEに依存しており、構造的なボトルネックを示唆している。
本稿では,表現予測をモデルのネイティブ機能にすることで,このギャップを埋める手法であるRepresentation Forcing(RF)を提案する。
論文 参考訳（メタデータ） (2026-05-29T17:59:55Z) - MagicSeg: Open-World Segmentation Pretraining via Counterfactural Diffusion-Based Auto-Generation [89.19760796832765]
MagicSeg"は、オープンワールドセマンティックセグメンテーションのニーズに合わせて自動的にデータセットを生成するパイプラインである。
PASCAL VOC, PASCAL Context, COCOを用いて, 62.9%, 26.7%, 40.2%の性能でSOTAを達成した。
論文 参考訳（メタデータ） (2026-03-20T02:37:38Z) - Seg4Diff: Unveiling Open-Vocabulary Segmentation in Text-to-Image Diffusion Transformers [56.76198904599581]
テキストと画像の拡散モデルは、言語翻訳において優れているため、モーダル間の注意機構を通じて暗黙的に概念を基礎づける。
近年のマルチモーダル拡散トランスフォーマーでは, 共用画像とテキストトークンを導入し, よりリッチでスケーラブルなクロスモーダルアライメントを実現している。
MM-DiTの注意構造を分析するための体系的フレームワークであるSeg4Diffを導入し,テキストから画像への意味情報の伝達方法に着目した。
論文 参考訳（メタデータ） (2025-09-22T17:59:54Z) - Unsupervised Representation Learning by Balanced Self Attention Matching [2.3020018305241337]
本稿では,BAMと呼ばれる画像特徴を埋め込む自己教師型手法を提案する。
我々は,これらの分布とグローバルな均衡とエントロピー正規化バージョンに一致する損失を最小化することにより,豊かな表現と特徴の崩壊を回避する。
半教師付きベンチマークと移動学習ベンチマークの両方において,先行手法と競合する性能を示す。
論文 参考訳（メタデータ） (2024-08-04T12:52:44Z) - FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [49.80911683739506]
我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。
我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。
当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
論文 参考訳（メタデータ） (2024-03-29T10:38:25Z) - With a Little Help from your own Past: Prototypical Memory Networks for
Image Captioning [47.96387857237473]
我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。
私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。
本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
論文 参考訳（メタデータ） (2023-08-23T18:53:00Z) - MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
所望のプロパティを統一する単段および単段のMOCAを提案する。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2023-07-18T15:46:20Z) - Rethinking Polyp Segmentation from an Out-of-Distribution Perspective [37.1338930936671]
マスク付き自己エンコーダ(再建作業で訓練された自己教師型視覚トランスフォーマー)を応用して,分布内表現を学習する。
種々の異常サンプルの潜伏分布と健常サンプルの統計値とを一致させるため,特徴空間の標準化を図り,アウト・オブ・ディストリビューションの再構築と推論を行った。
6つのベンチマークによる実験結果から,我々のモデルはセグメンテーション性能とデータセット間の一般化に優れていた。
論文 参考訳（メタデータ） (2023-06-13T14:13:16Z) - Semantic Image Synthesis via Diffusion Models [174.24523061460704]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。
意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-30T18:31:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。