論文の概要: CoProNN: Concept-based Prototypical Nearest Neighbors for Explaining Vision Models
- arxiv url: http://arxiv.org/abs/2404.14830v1
- Date: Tue, 23 Apr 2024 08:32:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 14:51:00.743038
- Title: CoProNN: Concept-based Prototypical Nearest Neighbors for Explaining Vision Models
- Title（参考訳）: CoProNN:視覚モデル記述のためのコンセプトベースプロトタイプNearest Neighbors
- Authors: Teodor Chiaburu, Frank Haußer, Felix Bießmann,
- Abstract要約: ドメインエキスパートが自然言語で直感的にコンピュータビジョンタスクのコンセプトベースの説明を素早く作成できる新しいアプローチを提案する。
CoProNNのモジュラー設計は実装が簡単で、新しいタスクに適応しやすく、分類とテキスト・トゥ・イメージ・モデルを置き換えることができる。
我々の戦略は、粗粒度画像分類タスクにおける他の概念ベースのXAIアプローチと非常によく競合し、さらに細粒度細粒度タスクにおいてそれらの手法よりも優れることを示した。
- 参考スコア（独自算出の注目度）: 1.0855602842179624
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Mounting evidence in explainability for artificial intelligence (XAI) research suggests that good explanations should be tailored to individual tasks and should relate to concepts relevant to the task. However, building task specific explanations is time consuming and requires domain expertise which can be difficult to integrate into generic XAI methods. A promising approach towards designing useful task specific explanations with domain experts is based on compositionality of semantic concepts. Here, we present a novel approach that enables domain experts to quickly create concept-based explanations for computer vision tasks intuitively via natural language. Leveraging recent progress in deep generative methods we propose to generate visual concept-based prototypes via text-to-image methods. These prototypes are then used to explain predictions of computer vision models via a simple k-Nearest-Neighbors routine. The modular design of CoProNN is simple to implement, it is straightforward to adapt to novel tasks and allows for replacing the classification and text-to-image models as more powerful models are released. The approach can be evaluated offline against the ground-truth of predefined prototypes that can be easily communicated also to domain experts as they are based on visual concepts. We show that our strategy competes very well with other concept-based XAI approaches on coarse grained image classification tasks and may even outperform those methods on more demanding fine grained tasks. We demonstrate the effectiveness of our method for human-machine collaboration settings in qualitative and quantitative user studies. All code and experimental data can be found in our GitHub $\href{https://github.com/TeodorChiaburu/beexplainable}{repository}$.
- Abstract（参考訳）: 人工知能(XAI)研究における説明可能性の証拠を積み重ねると、良い説明は個々のタスクに合わせるべきであり、そのタスクに関連する概念に関連するべきであることが示唆される。
しかし、タスク固有の説明を構築するのに時間がかかり、一般的なXAIメソッドに組み込むのが難しいようなドメインの専門知識を必要とする。
ドメインエキスパートと有用なタスク固有の説明を設計するための有望なアプローチは、セマンティックな概念の構成性に基づいている。
本稿では、ドメインエキスパートが自然言語で直感的にコンピュータビジョンタスクのコンセプトベースの説明を素早く作成できる新しいアプローチを提案する。
近年の深層生成手法の進歩を生かして,テキスト・ツー・イメージ法による視覚概念に基づくプロトタイプを作成することを提案する。
これらのプロトタイプは、単純なk-Nearest-Neighborsルーチンによってコンピュータビジョンモデルの予測を説明するために使用される。
CoProNNのモジュラー設計は実装が簡単で、新しいタスクに適応しやすく、より強力なモデルがリリースされるにつれて、分類とテキスト・ツー・イメージのモデルを置き換えることができる。
このアプローチは、事前に定義されたプロトタイプの基盤構造に対してオフラインで評価することができる。
我々の戦略は、粗粒度画像分類タスクにおける他の概念ベースのXAIアプローチと非常によく競合し、さらに細粒度細粒度タスクにおいてそれらの手法よりも優れることを示した。
定性的,定量的なユーザスタディにおいて,人間と機械の協調設定のための手法の有効性を実証する。
すべてのコードと実験データはGitHub $\href{https://github.com/TeodorChiaburu/beexplainable}{repository}$で確認できる。
関連論文リスト
- Explainable Concept Generation through Vision-Language Preference Learning [7.736445799116692]
概念に基づく説明は、ポストホック後のディープニューラルネットワークを説明するための一般的な選択肢となっている。
視覚言語生成モデルを微調整する強化学習に基づく選好最適化アルゴリズムを考案する。
提案手法の有効性と信頼性に加えて,ニューラルネットワーク解析の診断ツールとしての有用性を示す。
論文 参考訳（メタデータ） (2024-08-24T02:26:42Z) - Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。
本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。
我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
論文 参考訳（メタデータ） (2024-07-19T17:50:11Z) - Augmented Commonsense Knowledge for Remote Object Grounding [67.30864498454805]
エージェントナビゲーションを改善するための時間的知識グラフとして,コモンセンス情報を活用するための拡張コモンセンス知識モデル(ACK)を提案する。
ACKは知識グラフ対応のクロスモーダルとコンセプトアグリゲーションモジュールで構成され、視覚的表現と視覚的テキストデータアライメントを強化する。
我々は、より正確な局所的な行動予測につながるコモンセンスに基づく意思決定プロセスのための新しいパイプラインを追加します。
論文 参考訳（メタデータ） (2024-06-03T12:12:33Z) - Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。
本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。
この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
論文 参考訳（メタデータ） (2024-01-09T16:16:16Z) - Understanding the (Extra-)Ordinary: Validating Deep Model Decisions with Prototypical Concept-based Explanations [13.60538902487872]
本稿では, 実例的(地域的)かつクラス的(グローバル的)な意思決定戦略をプロトタイプを通じて伝達する, ポストホックなコンセプトベースXAIフレームワークを提案する。
我々は,3つのデータセットにまたがるアウト・オブ・ディストリビューション・サンプル,突発的なモデル行動,データ品質問題同定におけるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-11-28T10:53:26Z) - Explain Any Concept: Segment Anything Meets Concept-Based Explanation [11.433807960637685]
Segment Anything Model (SAM)は、正確で包括的なインスタンスセグメンテーションを実行するための強力なフレームワークとして実証されている。
我々は、効果的で柔軟な概念に基づく説明方法、すなわち Explain Any Concept (EAC) を提供する。
そこで我々は,Surrogateモデルによる効率的な説明を可能にする軽量なPIE方式を提案する。
論文 参考訳（メタデータ） (2023-05-17T15:26:51Z) - Fine-Grained Visual Entailment [51.66881737644983]
そこで本稿では,テキストから画像への微粒な知識要素の論理的関係を予測することを目的として,このタスクの拡張を提案する。
従来の研究とは異なり、本手法は本質的に説明可能であり、異なるレベルの粒度で論理的予測を行う。
本手法は,手動でアノテートした知識要素のデータセットを用いて評価し,この課題に対して68.18%の精度を達成できることを示す。
論文 参考訳（メタデータ） (2022-03-29T16:09:38Z) - Modular Action Concept Grounding in Semantic Video Prediction [28.917125574895422]
本稿では,セマンティックアクションラベルを用いてインタラクションを記述するセマンティックアクション条件付きビデオ予測のタスクを紹介する。
様々な視覚的概念学習者の構造的組み合わせによって,各抽象ラベルを具現化する。
提案手法は,新たに設計された2つの合成データセットと1つの実世界のデータセットを用いて評価する。
論文 参考訳（メタデータ） (2020-11-23T04:12:22Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳（メタデータ） (2020-09-25T12:01:53Z) - Learning Long-term Visual Dynamics with Region Proposal Interaction
Networks [75.06423516419862]
オブジェクト間およびオブジェクト環境間の相互作用を長距離にわたってキャプチャするオブジェクト表現を構築します。
単純だが効果的なオブジェクト表現のおかげで、我々の手法は先行手法よりも大幅に優れている。
論文 参考訳（メタデータ） (2020-08-05T17:48:00Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。