論文の概要: Concept-Centric Transformers: Enhancing Model Interpretability through
Object-Centric Concept Learning within a Shared Global Workspace
- arxiv url: http://arxiv.org/abs/2305.15775v2
- Date: Fri, 8 Sep 2023 20:43:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 21:30:38.584222
- Title: Concept-Centric Transformers: Enhancing Model Interpretability through
Object-Centric Concept Learning within a Shared Global Workspace
- Title（参考訳）: 概念中心変換器:共有グローバルワークスペース内のオブジェクト中心概念学習によるモデル解釈可能性の向上
- Authors: Jinyung Hong, Keun Hee Park, Theodore P. Pavlic
- Abstract要約: 概念中心変換器は、解釈可能性のための共有グローバルワークスペースの単純かつ効果的な構成である。
提案手法は,全ての問題に対して選択された手法よりも優れた分類精度が得られることを示す。
- 参考スコア（独自算出の注目度）: 1.6574413179773757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To explain "black-box" properties of AI models, many approaches, such as post
hoc and intrinsically interpretable models, have been proposed to provide
plausible explanations that identify human-understandable features/concepts
that a trained model uses to make predictions, and attention mechanisms have
been widely used to aid in model interpretability by visualizing that
information. However, the problem of configuring an interpretable model that
effectively communicates and coordinates among computational modules has
received less attention. A recently proposed shared global workspace theory
demonstrated that networks of distributed modules can benefit from sharing
information with a bandwidth-limited working memory because the communication
constraints encourage specialization, compositionality, and synchronization
among the modules. Inspired by this, we consider how such shared working
memories can be realized to build intrinsically interpretable models with
better interpretability and performance. Toward this end, we propose
Concept-Centric Transformers, a simple yet effective configuration of the
shared global workspace for interpretability consisting of: i) an
object-centric-based architecture for extracting semantic concepts from input
features, ii) a cross-attention mechanism between the learned concept and input
embeddings, and iii) standard classification and additional explanation losses
to allow human analysts to directly assess an explanation for the model's
classification reasoning. We test our approach against other existing
concept-based methods on classification tasks for various datasets, including
CIFAR100 (super-classes), CUB-200-2011 (bird species), and ImageNet, and we
show that our model achieves better classification accuracy than all selected
methods across all problems but also generates more consistent concept-based
explanations of classification output.
- Abstract（参考訳）: AIモデルの「ブラックボックス」特性を説明するため、ポストホックや本質的に解釈可能なモデルなどの多くのアプローチが提案され、トレーニングされたモデルが予測に使用する人間の理解可能な特徴や概念を識別する実証可能な説明が提案されている。
しかし,計算モジュール間の通信や座標を効果的に行う解釈可能なモデルの構成は,あまり注目されていない。
最近提案された共有グローバルワークスペース理論により、分散モジュールのネットワークは、通信制約によってモジュール間の特殊化、構成性、同期が促進されるため、帯域幅制限のワーキングメモリと情報を共有できることを示した。
そこで,このような共有作業記憶を実現することで,本質的に解釈可能なモデルを構築し,解釈性と性能を向上させることを考える。
そこで本研究では,概念中心トランスフォーマを提案する。
一 入力特徴から意味概念を抽出するための対象中心型アーキテクチャ
二 学習概念と入力埋め込みの相互注意機構
三 人間のアナリストがモデルの分類推論の説明を直接評価できるようにするための標準分類及び追加説明損失
CIFAR100(スーパークラス)、CUB-200-2011(バード種)、ImageNetなど、さまざまなデータセットの分類タスクに関する既存の概念ベース手法に対して、我々のアプローチを検証し、これらのモデルが全ての問題において選択された方法よりも優れた分類精度を実現するとともに、より一貫した概念ベースの分類出力の説明を生成することを示す。
関連論文リスト
- Decompose the model: Mechanistic interpretability in image models with Generalized Integrated Gradients (GIG) [24.02036048242832]
本稿では,すべての中間層を経由した入力から,データセット全体の最終的な出力まで,経路全体をトレースする新しい手法を提案する。
本稿では,PFV(Pointwise Feature Vectors)とERF(Effective Receptive Fields)を用いて,モデル埋め込みを解釈可能な概念ベクトルに分解する。
そして,汎用統合勾配(GIG)を用いて概念ベクトル間の関係を計算し,モデル行動の包括的,データセットワイドな解析を可能にする。
論文 参考訳（メタデータ） (2024-09-03T05:19:35Z) - AdaCBM: An Adaptive Concept Bottleneck Model for Explainable and Accurate Diagnosis [38.16978432272716]
CLIPやConcept Bottleneck Models(CBM)といったビジョン言語モデルの統合は、ディープニューラルネットワーク(DNN)の決定を説明するための有望なアプローチを提供する。
CLIPは説明可能性とゼロショット分類の両方を提供するが、ジェネリックイメージとテキストデータによる事前トレーニングは、その分類精度と医療画像診断タスクへの適用性を制限する可能性がある。
本稿では, 単純な線形分類システムとして, 幾何学的表現のレンズを通して CBM フレームワークを再検討することによって, 従来と異なるアプローチをとる。
論文 参考訳（メタデータ） (2024-08-04T11:59:09Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳（メタデータ） (2024-05-02T17:59:01Z) - MCPNet: An Interpretable Classifier via Multi-Level Concept Prototypes [24.28807025839685]
我々は、低レベルの特徴の意思決定プロセスに関する洞察が欠如している説明は、完全に忠実でも有用でもないと論じる。
本稿では,クラス認識概念分布(CCD)の損失を通じて,分類目的のマルチレベル概念のプロトタイプ分布を学習・調整する新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-04-13T11:13:56Z) - Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳（メタデータ） (2024-03-03T15:53:48Z) - Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。
本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。
この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
論文 参考訳（メタデータ） (2024-01-09T16:16:16Z) - Universal Information Extraction as Unified Semantic Matching [54.19974454019611]
情報抽出を,異なるタスクやスキーマで共有される構造化と概念化という,2つの能力に分割する。
このパラダイムに基づいて、統一意味マッチングフレームワークを用いて様々なIEタスクを普遍的にモデル化することを提案する。
このように、USMはスキーマと入力テキストを共同でエンコードし、サブ構造を一様に並列に抽出し、必要に応じてターゲット構造を制御できる。
論文 参考訳（メタデータ） (2023-01-09T11:51:31Z) - Translational Concept Embedding for Generalized Compositional Zero-shot
Learning [73.60639796305415]
一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。
本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
論文 参考訳（メタデータ） (2021-12-20T21:27:51Z) - Visual Concept Reasoning Networks [93.99840807973546]
分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。
我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。
提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
論文 参考訳（メタデータ） (2020-08-26T20:02:40Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-13T18:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。