論文の概要: ProtoP-OD: Explainable Object Detection with Prototypical Parts
- arxiv url: http://arxiv.org/abs/2402.19142v1
- Date: Thu, 29 Feb 2024 13:25:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 14:42:50.760859
- Title: ProtoP-OD: Explainable Object Detection with Prototypical Parts
- Title（参考訳）: ProtoP-OD: 原型部品を用いた説明可能な物体検出
- Authors: Pavlos Rath-Manakidis, Frederik Strothmann, Tobias Glasmachers,
Laurenz Wiskott
- Abstract要約: 本稿では、原型的局所特徴を構築し、オブジェクト検出に使用するトランスフォーマーの検出拡張を提案する。
提案した拡張は、プロトタイプアクティベーションの離散化表現を演算するボトルネックモジュール、プロトタイプネックで構成されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interpretation and visualization of the behavior of detection transformers
tends to highlight the locations in the image that the model attends to, but it
provides limited insight into the \emph{semantics} that the model is focusing
on. This paper introduces an extension to detection transformers that
constructs prototypical local features and uses them in object detection. These
custom features, which we call prototypical parts, are designed to be mutually
exclusive and align with the classifications of the model. The proposed
extension consists of a bottleneck module, the prototype neck, that computes a
discretized representation of prototype activations and a new loss term that
matches prototypes to object classes. This setup leads to interpretable
representations in the prototype neck, allowing visual inspection of the image
content perceived by the model and a better understanding of the model's
reliability. We show experimentally that our method incurs only a limited
performance penalty, and we provide examples that demonstrate the quality of
the explanations provided by our method, which we argue outweighs the
performance penalty.
- Abstract（参考訳）: 検出変圧器の動作の解釈と可視化は、モデルが参加する画像内の位置を強調する傾向にあるが、モデルが注目する「emph{semantics}」についての限られた洞察を与える。
本稿では、原型的局所特徴を構築し、オブジェクト検出に使用するトランスフォーマーの検出拡張を提案する。
これらのカスタム特徴は、原型的部分と呼ばれ、相互排他的であり、モデルの分類と整合するように設計されている。
提案する拡張は、プロトタイプアクティベーションの離散表現を計算するボトルネックモジュールであるprototype neckと、プロトタイプとオブジェクトクラスをマッチングする新しい損失項で構成されている。
この設定はプロトタイプネックの解釈可能な表現につながり、モデルによって知覚される画像内容の視覚的な検査とモデルの信頼性の理解が向上する。
提案手法は性能上のペナルティが限定的であることを実験的に示すとともに,提案手法が提供する説明の質がパフォーマンスペナルティよりも優れていることを示す例を示す。
関連論文リスト
- Interpretable Image Classification with Adaptive Prototype-based Vision Transformers [37.62530032165594]
本稿では,ディープラーニングとケースベース推論を組み合わせた画像分類手法であるProtoViTを提案する。
我々のモデルは、視覚変換器(ViT)のバックボーンをプロトタイプベースモデルに統合し、空間的に変形したプロトタイプを提供する。
実験の結果,本モデルでは既存のプロトタイプモデルよりも高い性能が得られることがわかった。
論文 参考訳（メタデータ） (2024-10-28T04:33:28Z) - Multi-Scale Grouped Prototypes for Interpretable Semantic Segmentation [7.372346036256517]
意味的セグメンテーションを解釈可能なものにするための、有望なアプローチとして、プロトタイプ的な部分学習が登場している。
本稿では,多スケール画像表現を利用した意味的セグメンテーションの解釈手法を提案する。
Pascal VOC,Cityscapes,ADE20Kで行った実験により,提案手法はモデルの疎結合性を高め,既存のプロトタイプ手法よりも解釈可能性を高め,非解釈可能なモデルとの性能ギャップを狭めることを示した。
論文 参考訳（メタデータ） (2024-09-14T17:52:59Z) - Mixture of Gaussian-distributed Prototypes with Generative Modelling for Interpretable and Trustworthy Image Recognition [15.685927265270085]
ガウス分布プロトタイプ(MGProto)の混合(mixture of Gaussian-Distributed Prototypes)と呼ばれるプロトタイプ分布を学習するための新しい生成パラダイムを提案する。
MGProtoは最先端の画像認識とOoD検出性能を実現し,解釈可能性の向上を実現している。
論文 参考訳（メタデータ） (2023-11-30T11:01:37Z) - With a Little Help from your own Past: Prototypical Memory Networks for
Image Captioning [47.96387857237473]
我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。
私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。
本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
論文 参考訳（メタデータ） (2023-08-23T18:53:00Z) - ProtoSeg: Interpretable Semantic Segmentation with Prototypical Parts [12.959270094693254]
本稿では,解釈可能なセマンティックイメージセグメンテーションの新しいモデルであるProtoSegを紹介する。
ベースライン法に匹敵する精度を達成するため,プロトタイプ部品の機構を適応させる。
ProtoSegは標準的なセグメンテーションモデルとは対照的にセグメンテーションの概念を発見する。
論文 参考訳（メタデータ） (2023-01-28T19:14:32Z) - ContraFeat: Contrasting Deep Features for Semantic Discovery [102.4163768995288]
StyleGANは、アンタングル化セマンティックコントロールの強い可能性を示している。
StyleGANの既存の意味発見手法は、修正された潜在層を手作業で選択することで、良好な操作結果が得られる。
本稿では,このプロセスを自動化し,最先端のセマンティック発見性能を実現するモデルを提案する。
論文 参考訳（メタデータ） (2022-12-14T15:22:13Z) - Object-centric and memory-guided normality reconstruction for video
anomaly detection [56.64792194894702]
本稿では,ビデオ監視における異常検出問題に対処する。
異常事象の固有な規則性と不均一性のため、問題は正規性モデリング戦略と見なされる。
我々のモデルは、トレーニング中に異常なサンプルを見ることなく、オブジェクト中心の正規パターンを学習する。
論文 参考訳（メタデータ） (2022-03-07T19:28:39Z) - PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。
最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
論文 参考訳（メタデータ） (2021-09-15T01:10:30Z) - Detection and Captioning with Unseen Object Classes [12.894104422808242]
テストイメージには、対応する視覚的またはテキスト的トレーニング例のない視覚的オブジェクトを含むことができる。
一般化されたゼロショット検出モデルとテンプレートに基づく文生成モデルに基づく検出駆動型アプローチを提案する。
実験の結果,提案したゼロショット検出モデルにより,MS-COCOデータセット上での最先端性能が得られた。
論文 参考訳（メタデータ） (2021-08-13T10:43:20Z) - Attentional Prototype Inference for Few-Shot Segmentation [128.45753577331422]
数発のセグメンテーションのための確率的潜在変数フレームワークである注意型プロトタイプ推論(API)を提案する。
我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。
我々は4つのベンチマークで広範な実験を行い、提案手法は最先端のプロトタイプベースの手法よりも、少なくとも競争力があり、しばしば優れた性能が得られる。
論文 参考訳（メタデータ） (2021-05-14T06:58:44Z) - Part-aware Prototype Network for Few-shot Semantic Segmentation [50.581647306020095]
本稿では,プロトタイプ表現に基づく新規な数ショットセマンティックセマンティックセマンティクスフレームワークを提案する。
私たちのキーとなるアイデアは、全体論的なクラス表現を、部分認識型プロトタイプのセットに分解することです。
提案する部分認識型プロトタイプを生成・拡張する新しいグラフニューラルネットワークモデルを開発した。
論文 参考訳（メタデータ） (2020-07-13T11:03:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。