論文の概要: Img2Tab: Automatic Class Relevant Concept Discovery from StyleGAN
Features for Explainable Image Classification
- arxiv url: http://arxiv.org/abs/2301.06324v2
- Date: Tue, 18 Apr 2023 06:45:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 17:57:01.592830
- Title: Img2Tab: Automatic Class Relevant Concept Discovery from StyleGAN
Features for Explainable Image Classification
- Title（参考訳）: Img2Tab: 説明可能な画像分類のためのStyleGAN機能からのクラス関連概念の自動発見
- Authors: Youngjae Song, Sung Kuk Shyn, Kwang-su Kim
- Abstract要約: 我々はイメージを概念的に分類するImg2Tabsを開発した。
Img2TabsはStyleGANの逆変換によって画像ピクセルを表にエンコードする。
Img2TabはCNN分類器と深い特徴学習ベースラインに匹敵するトップ1の精度を実現する。
- 参考スコア（独自算出の注目度）: 0.5156484100374059
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional tabular classifiers provide explainable decision-making with
interpretable features(concepts). However, using their explainability in vision
tasks has been limited due to the pixel representation of images. In this
paper, we design Img2Tabs that classify images by concepts to harness the
explainability of tabular classifiers. Img2Tabs encode image pixels into
tabular features by StyleGAN inversion. Since not all of the resulting features
are class-relevant or interpretable due to their generative nature, we expect
Img2Tab classifiers to discover class-relevant concepts automatically from the
StyleGAN features. Thus, we propose a novel method using the Wasserstein-1
metric to quantify class-relevancy and interpretability simultaneously. Using
this method, we investigate whether important features extracted by tabular
classifiers are class-relevant concepts. Consequently, we determine the most
effective classifier for Img2Tabs in terms of discovering class-relevant
concepts automatically from StyleGAN features. In evaluations, we demonstrate
concept-based explanations through importance and visualization. Img2Tab
achieves top-1 accuracy that is on par with CNN classifiers and deep feature
learning baselines. Additionally, we show that users can easily debug Img2Tab
classifiers at the concept level to ensure unbiased and fair decision-making
without sacrificing accuracy.
- Abstract（参考訳）: 従来の表式分類器は、解釈可能な特徴(概念)で説明可能な意思決定を提供する。
しかし,画像の画素表現により,視覚タスクにおける説明性は制限されている。
本稿では,図形分類器の説明可能性を活用するために,概念によって画像の分類を行うImg2Tabsを設計する。
Img2TabsはStyleGANの逆変換によって画像ピクセルを表にエンコードする。
結果として得られる全ての機能は、その生成的性質のためにクラス関連または解釈可能であるわけではないので、img2tab分類器は、スタイルガン機能からクラス関連概念を自動的に発見することを期待する。
そこで我々は,クラス関連性と解釈可能性を同時に定量化するために,Wasserstein-1 計量を用いた新しい手法を提案する。
本手法を用いて,表型分類器によって抽出される重要な特徴がクラス関連概念であるか否かを検討する。
その結果、スタイルガンの特徴からクラス関連概念を自動的に発見するという点で、img2tabsの最も効果的な分類器を決定する。
評価では、重要度と可視化による概念に基づく説明を示す。
Img2Tabは、CNN分類器と深い特徴学習ベースラインと同等のトップ1の精度を達成する。
さらに, img2tab分類器を概念レベルで容易にデバッグでき, 精度を犠牲にすることなく, 公平かつ公平な意思決定を行えることを示す。
関連論文リスト
- Mining Open Semantics from CLIP: A Relation Transition Perspective for Few-Shot Learning [46.25534556546322]
そこで本稿では,イメージ・アンカー関係から画像・ターゲット関係に遷移して予測を行うアンカーとしてオープンセマンティクスを抽出することを提案する。
本手法は, 数ショットの分類設定を考慮し, 従来の最先端技術に対して良好に機能する。
論文 参考訳（メタデータ） (2024-06-17T06:28:58Z) - Evolving Interpretable Visual Classifiers with Large Language Models [34.4903887876357]
CLIPのようなマルチモーダル事前訓練モデルは、オープン語彙の柔軟性と高性能のため、ゼロショット分類に人気がある。
画像とクラスラベルの類似点を計算する視覚言語モデルは、ほとんどブラックボックスであり、解釈可能性の制限、バイアスのリスク、書き下がらない新しい視覚概念の発見ができない。
本稿では,視覚認識のための属性の解釈可能かつ差別的集合を検出する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-04-15T17:09:53Z) - Exploring Fine-Grained Representation and Recomposition for Cloth-Changing Person Re-Identification [78.52704557647438]
補助的なアノテーションやデータなしに両方の制約に対処するために,新しいFIne-fine Representation and Recomposition (FIRe$2$) フレームワークを提案する。
FIRe$2$は、広く使われている5つのRe-IDベンチマークで最先端のパフォーマンスを実現することができる。
論文 参考訳（メタデータ） (2023-08-21T12:59:48Z) - Identifying Interpretable Subspaces in Image Representations [54.821222487956355]
コントラスト概念(FALCON)を用いて画像表現の特徴を説明する枠組みを提案する。
ターゲット機能として、FALCONは、大きなキャプションデータセットとCLIPのようなトレーニング済みの視覚言語モデルを使用して、高機能なトリミング画像をキャプションする。
キャプション内の各単語は、少数の共有された人間の理解可能な概念に導かれ、ランク付けされる。
論文 参考訳（メタデータ） (2023-07-20T00:02:24Z) - Text Descriptions are Compressive and Invariant Representations for
Visual Learning [63.3464863723631]
本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。
特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。
このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
論文 参考訳（メタデータ） (2023-07-10T03:06:45Z) - Reconnoitering the class distinguishing abilities of the features, to
know them better [6.026640792312181]
説明可能性により、エンドユーザは、機械学習スキームの能力とユーティリティを透過的かつ人間的に参照することができる。
本稿では,これらの特徴をクラスやカテゴリ識別機能に基づいて説明する。
いくつかの実世界のマルチクラスデータセットで実証的に提案手法が与える説明可能性を検証する。
論文 参考訳（メタデータ） (2022-11-23T08:39:41Z) - Visual Classification via Description from Large Language Models [23.932495654407425]
視覚言語モデル(VLM)は、様々な認識タスクにおいて有望な性能を示す。
本稿では,VLMを用いた分類のための代替フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-13T17:03:46Z) - Rich Semantics Improve Few-shot Learning [49.11659525563236]
アノテーションコストを最小限に抑えながら取得できる「クラスレベル」言語記述を用いることで、少ない学習性能を向上できることを示す。
我々は,視覚トークンと意味トークンを関連付けるための前方および後方エンコーディング機構を開発した。
論文 参考訳（メタデータ） (2021-04-26T16:48:27Z) - Learning and Evaluating Representations for Deep One-class
Classification [59.095144932794646]
ディープワンクラス分類のための2段階フレームワークを提案する。
まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。
実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
論文 参考訳（メタデータ） (2020-11-04T23:33:41Z) - Quantifying Learnability and Describability of Visual Concepts Emerging
in Representation Learning [91.58529629419135]
我々は、ディープニューラルネットワークによって自動的に発見された視覚的なグルーピングを特徴付ける方法を検討する。
本稿では、任意の画像グループ化の解釈可能性の定量化に使用できる視覚的学習可能性と記述可能性という2つの概念を紹介する。
論文 参考訳（メタデータ） (2020-10-27T18:41:49Z) - Generative Adversarial Zero-shot Learning via Knowledge Graphs [32.42721467499858]
本稿では,知識グラフ(KG)にリッチセマンティクスを組み込むことにより,KG-GANという新たな生成ZSL手法を提案する。
具体的には、グラフニューラルネットワークに基づいて、クラスビューと属性ビューの2つのビューからKGをエンコードする。
各ノードに対してよく学習されたセマンティックな埋め込み(視覚圏を表す)を用いて、GANを活用して、目に見えないクラスの魅力的な視覚的特徴を合成する。
論文 参考訳（メタデータ） (2020-04-07T03:55:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。