論文の概要: ProtoMask: Segmentation-Guided Prototype Learning
- arxiv url: http://arxiv.org/abs/2510.00683v1
- Date: Wed, 01 Oct 2025 09:07:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:20.484016
- Title: ProtoMask: Segmentation-Guided Prototype Learning
- Title(参考訳): ProtoMask: セグメンテーションガイドによるプロトタイプ学習
- Authors: Steffen Meinert, Philipp Schlinge, Nils Strodthoff, Martin Atzmueller,
- Abstract要約: 画像分割基礎モデルを用いて,埋め込み空間と入力空間のマッピングの真正性を改善する。
原型画像の情報を知覚するために、生成した各セグメンテーションマスクのバウンディングボックスを用いて画像を収穫する。
一般的な3つの詳細な分類データセットに対して、幅広いメトリクスを用いて実験を行う。
- 参考スコア(独自算出の注目度): 2.1823636275559575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: XAI gained considerable importance in recent years. Methods based on prototypical case-based reasoning have shown a promising improvement in explainability. However, these methods typically rely on additional post-hoc saliency techniques to explain the semantics of learned prototypes. Multiple critiques have been raised about the reliability and quality of such techniques. For this reason, we study the use of prominent image segmentation foundation models to improve the truthfulness of the mapping between embedding and input space. We aim to restrict the computation area of the saliency map to a predefined semantic image patch to reduce the uncertainty of such visualizations. To perceive the information of an entire image, we use the bounding box from each generated segmentation mask to crop the image. Each mask results in an individual input in our novel model architecture named ProtoMask. We conduct experiments on three popular fine-grained classification datasets with a wide set of metrics, providing a detailed overview on explainability characteristics. The comparison with other popular models demonstrates competitive performance and unique explainability features of our model. https://github.com/uos-sis/quanproto
- Abstract(参考訳): 近年、XAIの重要性が高まっている。
原型的ケースベース推論に基づく手法は、説明可能性に有望な改善を示した。
しかし、これらの手法は一般的に、学習したプロトタイプのセマンティクスを説明するために、追加のポストホック・サリエンシ技術に依存している。
このような手法の信頼性と品質について、複数の批判がなされている。
そこで本研究では,画像分割基礎モデルを用いて,埋め込み空間と入力空間のマッピングの真偽性を改善する。
このような視覚化の不確実性を低減するために,サリエンシマップの計算領域を予め定義されたセマンティックイメージパッチに制限することを目的としている。
画像全体の情報を知覚するために、生成した各セグメンテーションマスクからバウンディングボックスを使用して画像を収穫する。
それぞれのマスクは、新しいモデルアーキテクチャであるProtoMaskに個々の入力をもたらす。
我々は,3つの一般的な詳細な分類データセットを多種多様な指標を用いて実験し,説明可能性特性について概説する。
他の一般的なモデルと比較すると、我々のモデルの競争性能と特異な説明可能性の特徴が示される。
https://github.com/uos-sis/quanproto
関連論文リスト
- Interpretable Image Classification via Non-parametric Part Prototype Learning [14.390730075612248]
解釈可能な意思決定プロセスで画像を分類することは、コンピュータビジョンにおける長年の問題である。
近年、自己説明可能なニューラルネットワークのアプローチとして、プロトタイプのPart Networksが注目を集めている。
本稿では,各クラスに対して意味的に固有のオブジェクト部品の集合を学習する,部分的解釈可能な画像分類のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-13T10:46:53Z) - Correlation Weighted Prototype-based Self-Supervised One-Shot Segmentation of Medical Images [12.365801596593936]
医用画像セグメンテーションは、十分な注釈付きデータが入手できない領域の1つである。
スーパーピクセルから生成された擬似ラベルを用いた,プロトタイプベースのワンショット学習フレームワークを提案する。
提案手法は,最先端の手法と同等に機能することを示す。
論文 参考訳(メタデータ) (2024-08-12T15:38:51Z) - SSA-Seg: Semantic and Spatial Adaptive Pixel-level Classifier for Semantic Segmentation [11.176993272867396]
本稿ではセマンティック・空間適応(SSA-Seg)を提案し,セマンティックセグメンテーションの課題に対処する。
具体的には、固定されたプロトタイプから得られた粗いマスクを用いて、テスト画像のセマンティック領域と空間領域の中心に向けて固定されたプロトタイプを調整する。
その結果,提案したSSA-Segは,計算コストを最小限に抑えながら,ベースラインモデルのセグメンテーション性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2024-05-10T15:14:23Z) - SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation [69.42764583465508]
我々は,地球観測における注釈付きデータの不足に対処するために,生成的画像拡散の可能性を探る。
我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。
論文 参考訳(メタデータ) (2024-03-25T10:30:22Z) - Explore In-Context Segmentation via Latent Diffusion Models [132.26274147026854]
インコンテキストセグメンテーションは、与えられた参照画像を使ってオブジェクトをセグメンテーションすることを目的としている。
既存のほとんどのアプローチでは、視覚的プロンプトと入力画像クエリの相関を構築するために、メトリックラーニングやマスク付きイメージモデリングを採用しています。
この研究は、新しい視点から問題にアプローチし、コンテキスト内セグメンテーションのための潜在拡散モデルの能力を解き放つ。
論文 参考訳(メタデータ) (2024-03-14T17:52:31Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-06T11:51:28Z) - Sanity checks and improvements for patch visualisation in
prototype-based image classification [0.0]
プロトタイプに基づく視覚分類のための2つの一般的な自己説明モデルに実装された視覚的手法の詳細な分析を行う。
まず、そのような手法は画像内の関心領域を正確に識別せず、従ってモデル動作を反映しないことを示す。
我々は,同じ可視化手法を共有する他のプロトタイプベースモデルに対して,本研究がもたらす意味について論じる。
論文 参考訳(メタデータ) (2023-01-20T15:13:04Z) - Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。
我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。
この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
論文 参考訳(メタデータ) (2022-03-28T21:15:32Z) - CAMERAS: Enhanced Resolution And Sanity preserving Class Activation
Mapping for image saliency [61.40511574314069]
バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。
CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
論文 参考訳(メタデータ) (2021-06-20T08:20:56Z) - Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。
現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。
本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文 参考訳(メタデータ) (2020-04-14T16:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。