論文の概要: Repurposing Stable Diffusion Attention for Training-Free Unsupervised Interactive Segmentation

• arxiv url: http://arxiv.org/abs/2411.10411v1
• Date: Fri, 15 Nov 2024 18:29:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:39:11.376210
• Title: Repurposing Stable Diffusion Attention for Training-Free Unsupervised Interactive Segmentation
• Title（参考訳）: トレーニング不要な非教師なし対話的セグメンテーションのための安定拡散注意の再構築
• Authors: Markus Karmann, Onay Urfalioglu,
• Abstract要約: インタラクティブなポイントプロンプトベースの画像の最近の進歩は、高品質なセマンティックラベルを得るための手作業を大幅に削減する。 本稿では, 安定拡散の自己注意のみに基づく, 教師なし, トレーニング不要な新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 1.878433493707693
• License:
• Abstract: Recent progress in interactive point prompt based Image Segmentation allows to significantly reduce the manual effort to obtain high quality semantic labels. State-of-the-art unsupervised methods use self-supervised pre-trained models to obtain pseudo-labels which are used in training a prompt-based segmentation model. In this paper, we propose a novel unsupervised and training-free approach based solely on the self-attention of Stable Diffusion. We interpret the self-attention tensor as a Markov transition operator, which enables us to iteratively construct a Markov chain. Pixel-wise counting of the required number of iterations along the Markov-chain to reach a relative probability threshold yields a Markov-iteration-map, which we simply call a Markov-map. Compared to the raw attention maps, we show that our proposed Markov-map has less noise, sharper semantic boundaries and more uniform values within semantically similar regions. We integrate the Markov-map in a simple yet effective truncated nearest neighbor framework to obtain interactive point prompt based segmentation. Despite being training-free, we experimentally show that our approach yields excellent results in terms of Number of Clicks (NoC), even outperforming state-of-the-art training based unsupervised methods in most of the datasets.
• Abstract（参考訳）: インタラクティブなポイントプロンプトベースのイメージセグメンテーションの最近の進歩は、高品質なセマンティックラベルを得るための手作業を大幅に削減する。 最先端の教師なし手法では、自己教師付き事前訓練モデルを使用して、プロンプトベースのセグメンテーションモデルのトレーニングに使用される擬似ラベルを取得する。 本稿では, 安定拡散の自己注意のみに基づく, 教師なし, トレーニング不要な新しいアプローチを提案する。 我々は自己注意テンソルをマルコフ遷移作用素として解釈し、マルコフ連鎖を反復的に構築することができる。 相対確率しきい値に達するためにマルコフ連鎖に沿って必要となる反復数をピクセル単位で数えると、マルコフイテレーション写像が得られ、単にマルコフ写像と呼ばれる。 提案したマルコフマップは, よりノイズが少なく, セマンティック境界が鋭く, セマンティックに類似した領域内での値が均一であることを示す。 我々はマルコフマップをシンプルだが効果的に切り離された隣接フレームワークに統合し、インタラクティブなポイントプロンプトベースのセグメンテーションを得る。 トレーニング不要であるにもかかわらず、我々の手法は、多くのデータセットにおいて最先端のトレーニングベースの教師なし手法よりも優れた結果をもたらすことを実験的に示す。

関連論文リスト

• SmooSeg: Smoothness Prior for Unsupervised Semantic Segmentation [27.367986520072147]
  教師なしセマンティックセグメンテーションは、手動のアノテーションなしでイメージをセマンティックグループに分割する難しいタスクである。 本研究では,SmooSegという手法を提案する。SmooSegは,観察中の近接性関係をスムーズな信号としてモデル化する自己教師付き学習手法である。 SmooSegは3つのデータセットのピクセル精度でSTEGOを著しく上回っている。
  論文  参考訳（メタデータ） (2023-10-27T03:29:25Z)
• Label-efficient Segmentation via Affinity Propagation [27.016747627689288]
  ラベル効率のよいスパースアノテーションを用いた弱教師付きセグメンテーションは、手間のかかるピクセルワイドラベリングプロセスのコストを削減するために研究の注目を集めている。 親和性モデリングを親和性伝播過程として定式化し、局所的および大域的親和性項を提案して、正確な擬似ラベルを生成する。 計算コストを大幅に削減する効率的なアルゴリズムも開発されている。
  論文  参考訳（メタデータ） (2023-10-16T15:54:09Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning [59.64695628433855]
  ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。 基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。 提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-16T07:59:04Z)
• Incremental Learning in Semantic Segmentation from Image Labels [18.404068463921426]
  既存のセマンティックセグメンテーションアプローチは印象的な結果を得るが、新しいカテゴリが発見されるにつれてモデルを漸進的に更新することは困難である。 本稿では、安価で広く利用可能な画像レベルのラベルから新しいクラスを分類することを目的とした、Weakly Incremental Learning for Semanticsのための新しいフレームワークを提案する。 擬似ラベルをオフラインで生成する既存のアプローチとは対照的に、画像レベルのラベルで訓練され、セグメンテーションモデルで正規化される補助分類器を使用して、擬似スーパービジョンをオンラインで取得し、モデルを漸進的に更新する。
  論文  参考訳（メタデータ） (2021-12-03T12:47:12Z)
• Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised Semantic Segmentation [88.49669148290306]
  そこで我々はAuxSegNetと呼ばれる弱教師付きマルチタスク・フレームワークを提案し,サリエンシ検出とマルチラベル画像分類を補助タスクとして活用する。 同様の構造的セマンティクスに着想を得て,サリエンシとセグメンテーションの表現から,クロスタスクなグローバル画素レベルの親和性マップを学習することを提案する。 学習されたクロスタスク親和性は、両方のタスクに対して改善された擬似ラベルを提供するために、唾液度予測を洗練し、CAMマップを伝播するために使用することができる。
  論文  参考訳（メタデータ） (2021-07-25T11:39:58Z)
• One Thing One Click: A Self-Training Approach for Weakly Supervised 3D Semantic Segmentation [78.36781565047656]
  私たちは、アノテーションーがオブジェクトごとに1ポイントだけラベルを付ける必要があることを意味する「One Thing One Click」を提案します。 グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。 私たちの結果は、完全に監督されたものと同等です。
  論文  参考訳（メタデータ） (2021-04-06T02:27:25Z)
• Weakly-Supervised Semantic Segmentation by Iterative Affinity Learning [86.45526827323954]
  弱教師付きセマンティックセグメンテーションは、トレーニングのためにピクセル単位のラベル情報が提供されないため、難しい課題である。 このようなペア関係を学習するための反復アルゴリズムを提案する。 本稿では,提案アルゴリズムが最先端手法に対して好適に動作することを示す。
  論文  参考訳（メタデータ） (2020-02-19T10:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。