論文の概要: Explain Any Concept: Segment Anything Meets Concept-Based Explanation
- arxiv url: http://arxiv.org/abs/2305.10289v1
- Date: Wed, 17 May 2023 15:26:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 15:10:32.135919
- Title: Explain Any Concept: Segment Anything Meets Concept-Based Explanation
- Title（参考訳）: あらゆる概念を説明する: セグメンテーションは概念に基づく説明を満たす
- Authors: Ao Sun, Pingchuan Ma, Yuanyuan Yuan, Shuai Wang
- Abstract要約: Segment Anything Model (SAM)は、正確で包括的なインスタンスセグメンテーションを実行するための強力なフレームワークとして実証されている。
我々は、効果的で柔軟な概念に基づく説明方法、すなわち Explain Any Concept (EAC) を提供する。
そこで我々は,Surrogateモデルによる効率的な説明を可能にする軽量なPIE方式を提案する。
- 参考スコア（独自算出の注目度）: 11.433807960637685
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: EXplainable AI (XAI) is an essential topic to improve human understanding of
deep neural networks (DNNs) given their black-box internals. For computer
vision tasks, mainstream pixel-based XAI methods explain DNN decisions by
identifying important pixels, and emerging concept-based XAI explore forming
explanations with concepts (e.g., a head in an image). However, pixels are
generally hard to interpret and sensitive to the imprecision of XAI methods,
whereas "concepts" in prior works require human annotation or are limited to
pre-defined concept sets. On the other hand, driven by large-scale
pre-training, Segment Anything Model (SAM) has been demonstrated as a powerful
and promotable framework for performing precise and comprehensive instance
segmentation, enabling automatic preparation of concept sets from a given
image. This paper for the first time explores using SAM to augment
concept-based XAI. We offer an effective and flexible concept-based explanation
method, namely Explain Any Concept (EAC), which explains DNN decisions with any
concept. While SAM is highly effective and offers an "out-of-the-box" instance
segmentation, it is costly when being integrated into defacto XAI pipelines. We
thus propose a lightweight per-input equivalent (PIE) scheme, enabling
efficient explanation with a surrogate model. Our evaluation over two popular
datasets (ImageNet and COCO) illustrate the highly encouraging performance of
EAC over commonly-used XAI methods.
- Abstract（参考訳）: 説明可能なAI(XAI)は、ブラックボックスの内部からディープニューラルネットワーク(DNN)の人間の理解を改善するために不可欠なトピックである。
コンピュータビジョンタスクでは、メインストリームのピクセルベースのXAIメソッドが重要なピクセルを特定してDNNの決定を説明し、新しいコンセプトベースのXAIは概念(例えば画像のヘッド)で説明を形成する。
しかしながら、ピクセルは一般にxai法のインプレシションに対する解釈や敏感さが難しいが、以前の作品の「概念」は人間の注釈を必要とするか、あるいは事前に定義された概念セットに限定されている。
一方で、大規模な事前トレーニングによって、segment anything model(sam)は、所定のイメージから概念セットの自動作成を可能にする、正確で包括的なインスタンスセグメンテーションを実行するための強力で予測可能なフレームワークとして実証されている。
本稿では、SAMを用いたコンセプトベースXAIの強化を初めて検討する。
提案手法は, 有効かつ柔軟な概念に基づく説明手法である Explain Any Concept (EAC) を提供し, 任意の概念でDNNの決定を説明する。
SAMは非常に効果的で、"out-of-the-box"インスタンスセグメンテーションを提供するが、デファクトのXAIパイプラインに統合されるとコストがかかる。
そこで我々は,Surrogateモデルによる効率的な説明を可能にする軽量なPIE方式を提案する。
画像NetとCOCOの2つの一般的なデータセットに対する評価は、一般的に使用されるXAI手法よりも、ERCの高度に促進された性能を示している。
関連論文リスト
- Explainable Concept Generation through Vision-Language Preference Learning [7.736445799116692]
概念に基づく説明は、ポストホック後のディープニューラルネットワークを説明するための一般的な選択肢となっている。
視覚言語生成モデルを微調整する強化学習に基づく選好最適化アルゴリズムを考案する。
提案手法の有効性と信頼性に加えて,ニューラルネットワーク解析の診断ツールとしての有用性を示す。
論文 参考訳（メタデータ） (2024-08-24T02:26:42Z) - Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。
本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。
我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
論文 参考訳（メタデータ） (2024-07-19T17:50:11Z) - Improving the Explain-Any-Concept by Introducing Nonlinearity to the Trainable Surrogate Model [4.6040036610482655]
EAC(Explain Any Concept)モデルは、意思決定を説明するフレキシブルな方法です。
EACモデルは、ターゲットモデルをシミュレートする訓練可能な1つの線形層を持つ代理モデルを用いている。
元のサロゲートモデルに追加の非線形層を導入することで、ERCモデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2024-05-20T07:25:09Z) - CoProNN: Concept-based Prototypical Nearest Neighbors for Explaining Vision Models [1.0855602842179624]
ドメインエキスパートが自然言語で直感的にコンピュータビジョンタスクのコンセプトベースの説明を素早く作成できる新しいアプローチを提案する。
CoProNNのモジュラー設計は実装が簡単で、新しいタスクに適応しやすく、分類とテキスト・トゥ・イメージ・モデルを置き換えることができる。
我々の戦略は、粗粒度画像分類タスクにおける他の概念ベースのXAIアプローチと非常によく競合し、さらに細粒度細粒度タスクにおいてそれらの手法よりも優れることを示した。
論文 参考訳（メタデータ） (2024-04-23T08:32:38Z) - Understanding Multimodal Deep Neural Networks: A Concept Selection View [29.08342307127578]
概念に基づくモデルは、ディープニューラルネットワークによって抽出されたブラックボックスの視覚表現を、人間の理解可能な概念のセットにマッピングする。
人間の先入観を導入することなくコア概念をマイニングするための2段階概念選択モデル(CSM)を提案する。
提案手法は,エンドツーエンドのブラックボックスモデルに匹敵する性能を実現する。
論文 参考訳（メタデータ） (2024-04-13T11:06:49Z) - Visual Concept-driven Image Generation with Text-to-Image Diffusion Model [65.96212844602866]
テキスト・ツー・イメージ(TTI)モデルは複雑なシーンの高解像度画像を生成するという印象的な結果を示した。
近年のアプローチでは、これらの手法をパーソナライズ技術で拡張し、ユーザ認証の概念の統合を可能にしている。
しかし、人間の被写体のような複数の相互作用する概念を持つ画像を生成する能力は、1つにまたがったり、複数にまたがったりする概念は、いまだに説明がつかないままである。
これらの課題に対処する概念駆動型TTIパーソナライズフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-18T07:28:37Z) - CEIR: Concept-based Explainable Image Representation Learning [0.4198865250277024]
本稿では,概念に基づく説明可能な画像表現(CEIR)を導入し,ラベルに依存しない高品質な表現を導出する。
提案手法は, CIFAR10, CIFAR100, STL10などのベンチマーク上で, 最先端の非教師付きクラスタリング性能を示す。
CEIRは、微調整なしで、オープンワールドイメージから関連概念をシームレスに抽出することができる。
論文 参考訳（メタデータ） (2023-12-17T15:37:41Z) - Shap-CAM: Visual Explanations for Convolutional Neural Networks based on
Shapley Value [86.69600830581912]
クラスアクティベーションマッピングに基づくShap-CAMと呼ばれる新しい視覚的説明法を開発した。
我々は,Shap-CAMが意思決定プロセスの解釈において,より良い視覚的性能と公平性を実現することを実証した。
論文 参考訳（メタデータ） (2022-08-07T00:59:23Z) - Visual Concepts Tokenization [65.61987357146997]
本稿では,教師なしトランスフォーマーに基づく視覚概念トークン化フレームワーク VCT を提案する。
これらの概念トークンを得るためには、概念トークン間の自己注意なしで画像トークン層から視覚情報を抽出するために、クロスアテンションのみを用いる。
さらに,異なる概念トークンが独立した視覚概念を表現することを容易にするために,概念分離損失を提案する。
論文 参考訳（メタデータ） (2022-05-20T11:25:31Z) - Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。
次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。
最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
論文 参考訳（メタデータ） (2022-02-25T01:27:31Z) - CX-ToM: Counterfactual Explanations with Theory-of-Mind for Enhancing
Human Trust in Image Recognition Models [84.32751938563426]
我々は、深層畳み込みニューラルネットワーク(CNN)による決定を説明するための、新しい説明可能なAI(XAI)フレームワークを提案する。
単発応答として説明を生成するXAIの現在の手法とは対照的に,我々は反復的な通信プロセスとして説明を行う。
本フレームワークは,機械の心と人間の心の相違を媒介し,対話における説明文のシーケンスを生成する。
論文 参考訳（メタデータ） (2021-09-03T09:46:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。