論文の概要: Towards Human-Interpretable Prototypes for Visual Assessment of Image
Classification Models
- arxiv url: http://arxiv.org/abs/2211.12173v1
- Date: Tue, 22 Nov 2022 11:01:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 17:09:42.968432
- Title: Towards Human-Interpretable Prototypes for Visual Assessment of Image
Classification Models
- Title(参考訳): 画像分類モデルの視覚的評価のためのヒューマン・コンタプリタブル・プロトタイプの開発
- Authors: Poulami Sinhamahapatra, Lena Heidemann, Maureen Monnet, Karsten
Roscher
- Abstract要約: 人間に似た推論プロセスに基づいて、解釈可能な設計のモデルが必要です。
ProtoPNetは、教師なしの方法で視覚的に意味のあるプロトタイプを発見すると主張している。
これらのプロトタイプはまだ明確な説明に向けて長い道のりがある。
- 参考スコア(独自算出の注目度): 9.577509224534323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explaining black-box Artificial Intelligence (AI) models is a cornerstone for
trustworthy AI and a prerequisite for its use in safety critical applications
such that AI models can reliably assist humans in critical decisions. However,
instead of trying to explain our models post-hoc, we need models which are
interpretable-by-design built on a reasoning process similar to humans that
exploits meaningful high-level concepts such as shapes, texture or object
parts. Learning such concepts is often hindered by its need for explicit
specification and annotation up front. Instead, prototype-based learning
approaches such as ProtoPNet claim to discover visually meaningful prototypes
in an unsupervised way. In this work, we propose a set of properties that those
prototypes have to fulfill to enable human analysis, e.g. as part of a reliable
model assessment case, and analyse such existing methods in the light of these
properties. Given a 'Guess who?' game, we find that these prototypes still have
a long way ahead towards definite explanations. We quantitatively validate our
findings by conducting a user study indicating that many of the learnt
prototypes are not considered useful towards human understanding. We discuss
about the missing links in the existing methods and present a potential
real-world application motivating the need to progress towards truly
human-interpretable prototypes.
- Abstract(参考訳): ブラックボックス人工知能(AI)モデルの説明は、信頼できるAIの基盤であり、AIモデルが人間の重要な決定を確実に支援できるような、安全クリティカルなアプリケーションでの使用の前提となる。
しかし、ポストホックのモデルを説明する代わりに、形状やテクスチャ、オブジェクトの部分といった意味のある高レベルな概念を利用する人間に似た推論プロセスに基づいて、解釈可能な設計のモデルが必要です。
このような概念の学習は、しばしば明示的な仕様とアノテーションを事前に必要とすることで妨げられる。
ProtoPNetのようなプロトタイプベースの学習アプローチは、教師なしの方法で視覚的に意味のあるプロトタイプを発見すると主張している。
本研究は, 信頼性のあるモデル評価ケースの一部として, 人的分析を可能にするために, プロトタイプが満たさなければならない特性の集合を提案し, それらの特性を照らして既存の手法を分析する。
ゲーム『Guess Who?』を考えると、これらのプロトタイプはまだ明確な説明に向けて長い道のりがある。
本研究では,学習したプロトタイプの多くが人間の理解に有用ではないことを示すユーザスタディを行うことで,これらの知見を定量的に検証する。
既存の手法の欠落したリンクについて議論し,真に人間解釈可能なプロトタイプへの進歩を動機とする実世界の潜在的なアプリケーションを提案する。
関連論文リスト
- Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - ProtoExplorer: Interpretable Forensic Analysis of Deepfake Videos using
Prototype Exploration and Refinement [11.182863992851622]
ProtoExplorerは、プロトタイプベースのディープフェイク検出モデルの探索と改善のためのVisual Analyticsシステムである。
ビデオデータを扱う際にプロトタイプベースの予測を視覚化し、時間的にフィルタリングするツールを提供する。
システムは法医学の専門家によって設計され、オープンエンドの思考評価とインタビューに基づいて、数多くのラウンドで評価された。
論文 参考訳(メタデータ) (2023-09-20T09:03:56Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - Deformable ProtoPNet: An Interpretable Image Classifier Using Deformable
Prototypes [2.3096751699592137]
空間的に柔軟なプロトタイプを提供するケースベース解釈型ニューラルネットワークを提案する。
Deformable ProtoPNetでは、各プロトタイプは、入力画像に応じて相対的な空間位置を適応的に変更するいくつかのプロトタイプ部品で構成されている。
提案手法は, 競争精度を向上し, よりコンテキストの高い説明を与え, 訓練が容易であり, コンピュータビジョンに解釈可能なモデルをより広く活用することができる。
論文 参考訳(メタデータ) (2021-11-29T22:38:13Z) - Exploring Alignment of Representations with Human Perception [47.53970721813083]
モデルによって類似した表現にマッピングされた入力は、人間によっても同様に認識されるべきであることを示す。
我々のアプローチは、モデルが人間の知覚に合致する程度を測ります。
アーキテクチャやトレーニングパラダイム,トレーニング損失,データ拡張といったモデルのさまざまな特性が,人間の知覚に整合した表現の学習において重要な役割を担っていることが分かりました。
論文 参考訳(メタデータ) (2021-11-29T17:26:50Z) - This looks more like that: Enhancing Self-Explaining Models by
Prototypical Relevance Propagation [17.485732906337507]
本稿では,自己説明型ネットワークであるProtoPNetのアーティファクトのスペクトルの存在下でのケーススタディを示す。
より正確なモデル認識説明を生成するための新しい手法を提案する。
クリーンなデータセットを得るために,アーティファクト画像を分離するためのマルチビュークラスタリング戦略を提案する。
論文 参考訳(メタデータ) (2021-08-27T09:55:53Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - This Looks Like That, Because ... Explaining Prototypes for
Interpretable Image Recognition [4.396860522241307]
プロトタイプを説明するべきだ、と私たちは主張する。
本手法は,色調,形状,テクスチャ,コントラスト,彩度の影響を定量化し,プロトタイプの意味を明らかにする。
このような「誤解を招く」プロトタイプを説明することで、プロトタイプベースの分類モデルの解釈可能性とシミュラビリティを向上させることができる。
論文 参考訳(メタデータ) (2020-11-05T14:43:07Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳(メタデータ) (2020-09-25T12:01:53Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳(メタデータ) (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。