論文の概要: Label-Free Concept Bottleneck Models
- arxiv url: http://arxiv.org/abs/2304.06129v2
- Date: Mon, 5 Jun 2023 17:33:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 01:58:48.224689
- Title: Label-Free Concept Bottleneck Models
- Title(参考訳): ラベルフリー概念ボトルネックモデル
- Authors: Tuomas Oikarinen, Subhro Das, Lam M. Nguyen, Tsui-Wei Weng
- Abstract要約: 概念ボトルネックモデル(CBM)は、隠れた層ニューロンが人間の理解可能な概念に対応することによって、より解釈可能なニューラルネットワークを作成する一般的な方法である。
ラベル付き概念データなしで任意のニューラルネットワークを解釈可能なCBMに変換する新しいフレームワークであるラベルフリーCBMを提案する。
- 参考スコア(独自算出の注目度): 21.819898261244465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Concept bottleneck models (CBM) are a popular way of creating more
interpretable neural networks by having hidden layer neurons correspond to
human-understandable concepts. However, existing CBMs and their variants have
two crucial limitations: first, they need to collect labeled data for each of
the predefined concepts, which is time consuming and labor intensive; second,
the accuracy of a CBM is often significantly lower than that of a standard
neural network, especially on more complex datasets. This poor performance
creates a barrier for adopting CBMs in practical real world applications.
Motivated by these challenges, we propose Label-free CBM which is a novel
framework to transform any neural network into an interpretable CBM without
labeled concept data, while retaining a high accuracy. Our Label-free CBM has
many advantages, it is: scalable - we present the first CBM scaled to ImageNet,
efficient - creating a CBM takes only a few hours even for very large datasets,
and automated - training it for a new dataset requires minimal human effort.
Our code is available at https://github.com/Trustworthy-ML-Lab/Label-free-CBM.
Finally, in Appendix B we conduct a large scale user evaluation of the
interpretability of our method.
- Abstract(参考訳): 概念ボトルネックモデル(CBM)は、隠れた層ニューロンが人間の理解可能な概念に対応することによって、より解釈可能なニューラルネットワークを作成する一般的な方法である。
しかし、既存のCBMとその変種には2つの重要な制限がある: まず、事前に定義された概念のそれぞれについてラベル付きデータを収集する必要がある。
この貧弱なパフォーマンスは、現実のアプリケーションでCBMを採用するための障壁を生み出します。
これらの課題に動機づけられて,ニューラルネットワークを概念データをラベル付けすることなく解釈可能なcbmに変換するための新しいフレームワークであるラベルフリーcbmを提案する。
スケーラブル - イメージネットにスケールした最初のcbmを表示し、効率的 - cbmを作成するには、非常に大きなデータセットであっても数時間しかかからず、自動化 - 新たなデータセットのためにトレーニングするには、最小限の人的労力が必要です。
私たちのコードはhttps://github.com/Trustworthy-ML-Lab/Label-free-CBMで利用可能です。
最後に,Appendix Bでは,提案手法の解釈可能性に関する大規模なユーザ評価を行う。
関連論文リスト
- Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。
CBMには、さらなる概念のセットが必要である。
CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
論文 参考訳(メタデータ) (2024-04-04T09:43:43Z) - Eliminating Information Leakage in Hard Concept Bottleneck Models with
Supervised, Hierarchical Concept Learning [17.982131928413096]
概念ボトルネックモデル(Concept Bottleneck Models、CBM)は、人間の理解できない概念で特徴やラベルをブリッジすることで、解釈可能で介入可能な予測を提供することを目的としている。
CBMは情報漏洩に悩まされ、概念以外の意図しない情報がその後のラベル予測にリークされる。
本稿では,CBMの新たなパラダイム,すなわちSupCBMを提案する。
論文 参考訳(メタデータ) (2024-02-03T03:50:58Z) - Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
論文 参考訳(メタデータ) (2023-11-18T15:50:07Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - MAPLE: Masked Pseudo-Labeling autoEncoder for Semi-supervised Point
Cloud Action Recognition [160.49403075559158]
本稿では,Pseudo-Labeling autoEncoder (textbfMAPLE) フレームワークを提案する。
特に、MAPLEのバックボーンとして、新規で効率的なtextbfDecoupled textbfspatial-textbftemporal TranstextbfFormer(textbfDestFormer)を設計する。
MAPLEは3つの公開ベンチマークにおいて優れた結果を得て、MSR-Action3の精度を8.08%向上させる。
論文 参考訳(メタデータ) (2022-09-01T12:32:40Z) - Post-hoc Concept Bottleneck Models [11.358495577593441]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。
CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。
解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
論文 参考訳(メタデータ) (2022-05-31T00:29:26Z) - Concept Bottleneck Model with Additional Unsupervised Concepts [0.5939410304994348]
概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。
CBMは概念ラベルを使用して、中間層を追加の可視層としてトレーニングする。
これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,教師付き概念と教師なし概念を同時に得ることができる。
論文 参考訳(メタデータ) (2022-02-03T08:30:51Z) - Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。
d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。
トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
論文 参考訳(メタデータ) (2021-08-20T11:53:05Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳(メタデータ) (2020-12-31T18:48:58Z) - Toward Real-World BCI: CCSPNet, A Compact Subject-Independent Motor
Imagery Framework [2.0741711594051377]
従来の脳-コンピュータインタフェース(BCI)は、使用前に各ユーザーに対して完全なデータ収集、トレーニング、校正フェーズを必要とする。
大規模脳波信号データベースの運動画像(MI)パラダイムを学習するCCSPNetという,新規な主体に依存しないBCIフレームワークを提案する。
提案手法は,ウェーブレット核畳み込みニューラルネットワーク(wkcnn)と時間畳み込みニューラルネットワーク(tcnn)を適用し,脳波信号の多様なスペクトル特性を表現・抽出する。
論文 参考訳(メタデータ) (2020-12-25T12:00:47Z) - CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。
CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
論文 参考訳(メタデータ) (2020-02-03T14:49:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。