論文の概要: Concept Bottleneck Model with Additional Unsupervised Concepts
- arxiv url: http://arxiv.org/abs/2202.01459v1
- Date: Thu, 3 Feb 2022 08:30:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-04 21:55:31.071368
- Title: Concept Bottleneck Model with Additional Unsupervised Concepts
- Title(参考訳): 教師なし概念を付加した概念ボトルネックモデル
- Authors: Yoshihide Sawada, Keigo Nakamura
- Abstract要約: 概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。
CBMは概念ラベルを使用して、中間層を追加の可視層としてトレーニングする。
これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,教師付き概念と教師なし概念を同時に得ることができる。
- 参考スコア(独自算出の注目度): 0.5939410304994348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the increasing demands for accountability, interpretability is becoming
an essential capability for real-world AI applications. However, most methods
utilize post-hoc approaches rather than training the interpretable model. In
this article, we propose a novel interpretable model based on the concept
bottleneck model (CBM). CBM uses concept labels to train an intermediate layer
as the additional visible layer. However, because the number of concept labels
restricts the dimension of this layer, it is difficult to obtain high accuracy
with a small number of labels. To address this issue, we integrate supervised
concepts with unsupervised ones trained with self-explaining neural networks
(SENNs). By seamlessly training these two types of concepts while reducing the
amount of computation, we can obtain both supervised and unsupervised concepts
simultaneously, even for large-sized images. We refer to the proposed model as
the concept bottleneck model with additional unsupervised concepts (CBM-AUC).
We experimentally confirmed that the proposed model outperformed CBM and SENN.
We also visualized the saliency map of each concept and confirmed that it was
consistent with the semantic meanings.
- Abstract(参考訳): 説明責任の要求が高まるにつれ、解釈可能性は現実のAIアプリケーションにとって不可欠な機能になりつつある。
しかし、ほとんどの方法は解釈可能なモデルを訓練するよりも、ポストホックなアプローチを使う。
本稿では,概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。
cbmは概念ラベルを使用して中間層を追加可視層として訓練する。
しかし, 概念ラベルの数は, この層の大きさを制限しているため, 少数のラベルで高い精度を得ることは困難である。
この問題に対処するために、教師なしの概念と自己説明型ニューラルネットワーク(SENN)で訓練された教師なしの概念を統合する。
これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,大規模画像においても,教師付き概念と教師なし概念を同時に得ることができる。
提案モデルについて,非教師付き概念を付加した概念ボトルネックモデル(CBM-AUC)と呼ぶ。
提案モデルがCBMとSENNより優れていることを確認した。
また,各概念のサリエンシーマップを可視化し,意味的意味と一致していることを確認した。
関連論文リスト
- Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。
後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。
広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
論文 参考訳(メタデータ) (2024-02-03T11:10:57Z) - Concept Distillation: Leveraging Human-Centered Explanations for Model
Improvement [3.026365073195727]
概念活性化ベクトル(Concept Activation Vectors, CAV)は、ある概念に対するモデルの感度と潜在的なバイアスを推定する。
微調整によりモデルバイアスを低減するため,CAVをポストホック解析からアンテホックトレーニングに拡張する。
本稿では,いくつかの分類問題に対する概念感受性トレーニングの応用について述べる。
論文 参考訳(メタデータ) (2023-11-26T14:00:14Z) - Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
論文 参考訳(メタデータ) (2023-11-18T15:50:07Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Implicit Concept Removal of Diffusion Models [96.03200681493348]
テキスト・ツー・イメージ(T2I)拡散モデルは、透かしや安全でない画像などの不要な概念を不注意に生成する。
幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
論文 参考訳(メタデータ) (2023-10-09T17:13:10Z) - Hierarchical Concept Discovery Models: A Concept Pyramid Scheme [11.138948381367133]
この研究は、アンテホック解釈可能性、特に概念ボトルネックモデル(CBM)をターゲットにしている。
私たちのゴールは、人間の理解可能な概念に関して、高度に解釈可能な意思決定プロセスを認めるフレームワークを設計することです。
この枠組みの中では、概念情報は全体像と一般的な非構造化概念との類似性にのみ依存しない。
論文 参考訳(メタデータ) (2023-10-03T14:57:31Z) - Learning to Receive Help: Intervention-Aware Concept Embedding Models [46.7616863339095]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、高レベルの概念セットを使用して予測を構築し、説明することによって、ニューラルネットワークの不透明さに対処する。
近年の研究では、介入効果は概念が介入される順序に大きく依存していることが示されている。
IntCEM(Intervention-Aware Concept Embedding Model)は,テスト時間介入に対するモデルの受容性を改善する新しいCBMアーキテクチャとトレーニングパラダイムである。
論文 参考訳(メタデータ) (2023-09-29T02:04:24Z) - Concept Activation Regions: A Generalized Framework For Concept-Based
Explanations [95.94432031144716]
既存の手法では、概念を説明する例は、ディープニューラルネットワークの潜伏空間の一定の方向にマッピングされていると仮定している。
そこで本研究では,DNNの潜在空間において,異なるクラスタに分散した概念例を提案する。
この概念活性化領域(CAR)は、グローバルな概念に基づく説明と局所的な概念に基づく特徴の重要性をもたらす。
論文 参考訳(メタデータ) (2022-09-22T17:59:03Z) - Concept Embedding Models [27.968589555078328]
概念ボトルネックモデルは、人間のような概念の中間レベルに分類タスクを条件付けすることで、信頼性を促進する。
既存の概念ボトルネックモデルは、高いタスク精度、堅牢な概念に基づく説明、概念に対する効果的な介入の間の最適な妥協を見つけることができない。
本稿では,解釈可能な高次元概念表現を学習することで,現在の精度-vs-解釈可能性トレードオフを超える新しい概念ボトルネックモデルであるConcept Embedding Modelsを提案する。
論文 参考訳(メタデータ) (2022-09-19T14:49:36Z) - Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。
我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。
我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
論文 参考訳(メタデータ) (2022-08-31T17:06:46Z) - Post-hoc Concept Bottleneck Models [11.358495577593441]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。
CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。
解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
論文 参考訳(メタデータ) (2022-05-31T00:29:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。