論文の概要: Unsupervised Segmentation by Diffusing, Walking and Cutting

• arxiv url: http://arxiv.org/abs/2412.04678v1
• Date: Fri, 06 Dec 2024 00:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:19.747081
• Title: Unsupervised Segmentation by Diffusing, Walking and Cutting
• Title（参考訳）: 拡散・歩行・切断による教師なしセグメンテーション
• Authors: Daniela Ivanova, Marco Aversa, Paul Henderson, John Williamson,
• Abstract要約: 本稿では,事前学習したテキスト・画像拡散モデルの特徴を用いた教師なし画像分割手法を提案する。 重要な洞察は、自己アテンション確率分布は、画像を横断するランダムウォーキングの遷移行列として解釈できることである。 提案手法は,COCO-Stuff-27およびCityscapesにおける非教師なしセグメンテーションの既存手法を全て超越し,最先端の結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 5.6872893893453105
• License:
• Abstract: We propose an unsupervised image segmentation method using features from pre-trained text-to-image diffusion models. Inspired by classic spectral clustering approaches, we construct adjacency matrices from self-attention layers between image patches and recursively partition using Normalised Cuts. A key insight is that self-attention probability distributions, which capture semantic relations between patches, can be interpreted as a transition matrix for random walks across the image. We leverage this by first using Random Walk Normalized Cuts directly on these self-attention activations to partition the image, minimizing transition probabilities between clusters while maximizing coherence within clusters. Applied recursively, this yields a hierarchical segmentation that reflects the rich semantics in the pre-trained attention layers, without any additional training. Next, we explore other ways to build the NCuts adjacency matrix from features, and how we can use the random walk interpretation of self-attention to capture long-range relationships. Finally, we propose an approach to automatically determine the NCut cost criterion, avoiding the need to tune this manually. We quantitatively analyse the effect incorporating different features, a constant versus dynamic NCut threshold, and incorporating multi-node paths when constructing the NCuts adjacency matrix. We show that our approach surpasses all existing methods for zero-shot unsupervised segmentation, achieving state-of-the-art results on COCO-Stuff-27 and Cityscapes.
• Abstract（参考訳）: 本稿では,事前学習したテキスト・画像拡散モデルの特徴を用いた教師なし画像分割手法を提案する。 古典的なスペクトルクラスタリング手法に着想を得て、画像パッチと正規化カットを用いた再帰分割の自己アテンション層から隣接行列を構築する。 キーとなる洞察は、パッチ間の意味的関係をキャプチャする自己注意確率分布は、画像の向こう側をランダムに歩くための遷移行列として解釈できるということである。 我々はまず、ランダムウォーク正規化カットを直接使用して画像を分割し、クラスタ間の遷移確率を最小化し、クラスタ内のコヒーレンスを最大化する。 再帰的に適用すると、これは事前学習された注意層におけるリッチな意味を反映する階層的なセグメンテーションをもたらす。 次に、機能からNCuts隣接行列を構築するための他の方法、そして長距離関係を捉えるために、自己意図のランダムウォーク解釈を利用する方法について検討する。 最後に,NCutのコスト基準を自動的に決定する手法を提案する。 我々は,NCuts隣接行列を構成する際に,異なる特徴,定数対動的NCutしきい値,マルチノードパスを取り入れた効果を定量的に分析する。 提案手法は,COCO-Stuff-27およびCityscapesにおける非教師なしセグメンテーションの既存手法を全て超越し,最先端の結果が得られることを示す。

関連論文リスト

• Unsupervised Representation Learning by Balanced Self Attention Matching [2.3020018305241337]
  本稿では,BAMと呼ばれる画像特徴を埋め込む自己教師型手法を提案する。 我々は,これらの分布とグローバルな均衡とエントロピー正規化バージョンに一致する損失を最小化することにより,豊かな表現と特徴の崩壊を回避する。 半教師付きベンチマークと移動学習ベンチマークの両方において,先行手法と競合する性能を示す。
  論文  参考訳（メタデータ） (2024-08-04T12:52:44Z)
• Learning to Rank Patches for Unbiased Image Redundancy Reduction [80.93989115541966]
  画像は、隣接する領域の画素が空間的に相関しているため、空間的冗長性に悩まされる。 既存のアプローチでは、意味の少ない画像領域を減らし、この制限を克服しようとしている。 本稿では,Learning to Rank Patchesと呼ばれる画像冗長性低減のための自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-31T13:12:41Z)
• Self-supervised Few-shot Learning for Semantic Segmentation: An Annotation-free Approach [4.855689194518905]
  Few-shot semantic segmentation (FSS)は、医用画像解析の分野で大きな可能性を秘めている。 既存のFSS技術は注釈付きセマンティッククラスに大きく依存しており、医療画像には適さない。 本稿では,アノテーションに依存しない新たな自己教師型FSSフレームワークを提案する。その代わりに,支援画像から得られる固有ベクトルを利用して,クエリマスクを適応的に推定する。
  論文  参考訳（メタデータ） (2023-07-26T18:33:30Z)
• DeepCut: Unsupervised Segmentation using Graph Neural Networks Clustering [6.447863458841379]
  本研究では,従来のクラスタリング手法を置き換える軽量グラフニューラルネットワーク(GNN)を提案する。 既存の手法とは異なり、GNNはローカル画像特徴と生特徴とのペアワイズ親和性の両方を入力として取ります。 画像セグメンテーションGNNを訓練するための自己教師付き損失関数として,古典的クラスタリングの目的を定式化する方法を実証する。
  論文  参考訳（メタデータ） (2022-12-12T12:31:46Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• LEAD: Self-Supervised Landmark Estimation by Aligning Distributions of Feature Similarity [49.84167231111667]
  自己監督型ランドマーク検出における既存の研究は、画像から高密度(ピクセルレベルの)特徴表現を学習することに基づいている。 自己教師付き方式で高密度同変表現の学習を強化するアプローチを提案する。 機能抽出器にそのような先行性があることは,アノテーションの数が大幅に制限されている場合でも,ランドマーク検出に役立ちます。
  論文  参考訳（メタデータ） (2022-04-06T17:48:18Z)
• Probabilistic Warp Consistency for Weakly-Supervised Semantic Correspondences [118.6018141306409]
  本稿では,セマンティックマッチングのための弱教師付き学習目標である確率ワープ一貫性を提案する。 まず、同じオブジェクトクラスの異なるインスタンスを表現したペアで、既知のワープを画像の1つに適用することで、画像トリプルを構築する。 我々の目的はまた、キーポイントアノテーションと組み合わせることで、強く監督された体制を大幅に改善する。
  論文  参考訳（メタデータ） (2022-03-08T18:55:11Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)
• Unsupervised Learning of Image Segmentation Based on Differentiable Feature Clustering [14.074732867392008]
  本研究では、教師なし画像分割における畳み込みニューラルネットワーク(CNN)の利用について検討した。 本稿では、正規化と、微分可能なクラスタリングのためのargmax関数からなる、教師なし画像セグメンテーションのエンドツーエンドネットワークを提案する。 第3に,既存の手法よりも精度がよいユーザ入力として,スクリブルを用いたセグメント化手法の拡張を提案する。
  論文  参考訳（メタデータ） (2020-07-20T10:28:36Z)
• Self-Supervised Tuning for Few-Shot Segmentation [82.32143982269892]
  Few-shotのセグメンテーションは、アノテートされたサンプルがほとんどない各画像ピクセルにカテゴリラベルを割り当てることを目的としている。 既存のメタラーニング手法では, 画像から抽出した視覚的特徴を埋め込み空間に埋め込むと, カテゴリー別識別記述子の生成に失敗する傾向にある。 本稿では,複数のエピソードにまたがる潜在特徴の分布を,自己分割方式に基づいて動的に調整する適応型フレームワークチューニングを提案する。
  論文  参考訳（メタデータ） (2020-04-12T03:53:53Z)
• GATCluster: Self-Supervised Gaussian-Attention Network for Image Clustering [9.722607434532883]
  画像クラスタリングのための自己教師型クラスタリングネットワーク(GATCluster)を提案する。 まず中間機能を抽出し、次に従来のクラスタリングを実行する代わりに、GATClusterセマンティッククラスタラベルを後処理なしで実行します。 大規模画像のクラスタリングにメモリ効率のよい2段階学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-02-27T00:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。