論文の概要: Multi-Scale Grouped Prototypes for Interpretable Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2409.09497v1
• Date: Sat, 14 Sep 2024 17:52:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 20:27:38.644523
• Title: Multi-Scale Grouped Prototypes for Interpretable Semantic Segmentation
• Title（参考訳）: 解釈可能なセマンティックセグメンテーションのためのマルチスケールグループプロトタイプ
• Authors: Hugo Porta, Emanuele Dalsasso, Diego Marcos, Devis Tuia,
• Abstract要約: 意味的セグメンテーションを解釈可能なものにするための、有望なアプローチとして、プロトタイプ的な部分学習が登場している。 本稿では,多スケール画像表現を利用した意味的セグメンテーションの解釈手法を提案する。 Pascal VOC,Cityscapes,ADE20Kで行った実験により,提案手法はモデルの疎結合性を高め,既存のプロトタイプ手法よりも解釈可能性を高め,非解釈可能なモデルとの性能ギャップを狭めることを示した。
• 参考スコア（独自算出の注目度）: 7.372346036256517
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Prototypical part learning is emerging as a promising approach for making semantic segmentation interpretable. The model selects real patches seen during training as prototypes and constructs the dense prediction map based on the similarity between parts of the test image and the prototypes. This improves interpretability since the user can inspect the link between the predicted output and the patterns learned by the model in terms of prototypical information. In this paper, we propose a method for interpretable semantic segmentation that leverages multi-scale image representation for prototypical part learning. First, we introduce a prototype layer that explicitly learns diverse prototypical parts at several scales, leading to multi-scale representations in the prototype activation output. Then, we propose a sparse grouping mechanism that produces multi-scale sparse groups of these scale-specific prototypical parts. This provides a deeper understanding of the interactions between multi-scale object representations while enhancing the interpretability of the segmentation model. The experiments conducted on Pascal VOC, Cityscapes, and ADE20K demonstrate that the proposed method increases model sparsity, improves interpretability over existing prototype-based methods, and narrows the performance gap with the non-interpretable counterpart models. Code is available at github.com/eceo-epfl/ScaleProtoSeg.
• Abstract（参考訳）: 意味的セグメンテーションを解釈可能なものにするための、有望なアプローチとして、プロトタイプ的な部分学習が登場している。 モデルは、トレーニング中にプロトタイプとして見られる実際のパッチを選択し、テスト画像の一部とプロトタイプとの類似性に基づいて、密集した予測マップを構築する。 これにより、予測出力とモデルが学習したパターンとのリンクを原型情報の観点から検査できるため、解釈可能性が改善される。 本稿では,マルチスケール画像表現を利用した解釈可能なセマンティックセマンティックセマンティクスの手法を提案する。 まず,多種多様な原型部分を複数のスケールで明示的に学習するプロトタイプ層を導入し,プロトタイプアクティベーション出力のマルチスケール表現を実現する。 そこで,本研究では,これらの大規模特異な部分のスパース群を生成するスパースグルーピング機構を提案する。 これにより、セグメンテーションモデルの解釈可能性を高めながら、マルチスケールオブジェクト表現間の相互作用をより深く理解することができる。 また,Pascal VOC,Cityscapes,ADE20Kで行った実験により,提案手法はモデルの疎結合性を高め,既存のプロトタイプ手法よりも解釈可能性を高め,非解釈可能なモデルとの性能ギャップを狭めることを示した。 コードはgithub.com/eceo-epfl/ScaleProtoSegで入手できる。

関連論文リスト

• Interpretable Image Classification with Adaptive Prototype-based Vision Transformers [37.62530032165594]
  本稿では,ディープラーニングとケースベース推論を組み合わせた画像分類手法であるProtoViTを提案する。 我々のモデルは、視覚変換器(ViT)のバックボーンをプロトタイプベースモデルに統合し、空間的に変形したプロトタイプを提供する。 実験の結果,本モデルでは既存のプロトタイプモデルよりも高い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T04:33:28Z)
• ProtoSeg: Interpretable Semantic Segmentation with Prototypical Parts [12.959270094693254]
  本稿では,解釈可能なセマンティックイメージセグメンテーションの新しいモデルであるProtoSegを紹介する。 ベースライン法に匹敵する精度を達成するため,プロトタイプ部品の機構を適応させる。 ProtoSegは標準的なセグメンテーションモデルとは対照的にセグメンテーションの概念を発見する。
  論文  参考訳（メタデータ） (2023-01-28T19:14:32Z)
• Few-Shot Segmentation via Rich Prototype Generation and Recurrent Prediction Enhancement [12.614578133091168]
  本稿では,プロトタイプ学習パラダイムを強化するために,リッチプロトタイプ生成モジュール (RPGM) と繰り返し予測拡張モジュール (RPEM) を提案する。 RPGMはスーパーピクセルとK平均クラスタリングを組み合わせて、補完的なスケール関係を持つリッチなプロトタイプ機能を生成する。 RPEMは、リカレントメカニズムを使用して、ラウンドウェイ伝搬デコーダを設計する。
  論文  参考訳（メタデータ） (2022-10-03T08:46:52Z)
• Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
  学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。 我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。 この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
  論文  参考訳（メタデータ） (2022-03-28T21:15:32Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• Attentional Prototype Inference for Few-Shot Segmentation [128.45753577331422]
  数発のセグメンテーションのための確率的潜在変数フレームワークである注意型プロトタイプ推論(API)を提案する。 我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。 我々は4つのベンチマークで広範な実験を行い、提案手法は最先端のプロトタイプベースの手法よりも、少なくとも競争力があり、しばしば優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-05-14T06:58:44Z)
• SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes [56.387647750094466]
  Few-shot セマンティックセマンティックセマンティクスは,クエリイメージ内の新規クラスオブジェクトを,アノテーション付きの例で分割することを目的としている。 先進的なソリューションのほとんどは、各ピクセルを学習した前景のプロトタイプに合わせることでセグメンテーションを行うメトリクス学習フレームワークを利用している。 このフレームワークは、前景プロトタイプのみとのサンプルペアの不完全な構築のために偏った分類に苦しんでいます。
  論文  参考訳（メタデータ） (2021-04-19T11:21:47Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Part-aware Prototype Network for Few-shot Semantic Segmentation [50.581647306020095]
  本稿では,プロトタイプ表現に基づく新規な数ショットセマンティックセマンティックセマンティクスフレームワークを提案する。 私たちのキーとなるアイデアは、全体論的なクラス表現を、部分認識型プロトタイプのセットに分解することです。 提案する部分認識型プロトタイプを生成・拡張する新しいグラフニューラルネットワークモデルを開発した。
  論文  参考訳（メタデータ） (2020-07-13T11:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。