論文の概要: Concept-Centric Transformers: Enhancing Model Interpretability through
Object-Centric Concept Learning within a Shared Global Workspace
- arxiv url: http://arxiv.org/abs/2305.15775v3
- Date: Tue, 7 Nov 2023 23:56:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 19:49:31.782201
- Title: Concept-Centric Transformers: Enhancing Model Interpretability through
Object-Centric Concept Learning within a Shared Global Workspace
- Title（参考訳）: 概念中心変換器:共有グローバルワークスペース内のオブジェクト中心概念学習によるモデル解釈可能性の向上
- Authors: Jinyung Hong, Keun Hee Park, Theodore P. Pavlic
- Abstract要約: 概念中心変換器は、解釈可能性のための共有グローバルワークスペースの単純かつ効果的な構成である。
本モデルでは,すべての問題に対して,すべてのベースラインの分類精度が向上することを示す。
- 参考スコア（独自算出の注目度）: 1.6574413179773757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many interpretable AI approaches have been proposed to provide plausible
explanations for a model's decision-making. However, configuring an explainable
model that effectively communicates among computational modules has received
less attention. A recently proposed shared global workspace theory showed that
networks of distributed modules can benefit from sharing information with a
bottlenecked memory because the communication constraints encourage
specialization, compositionality, and synchronization among the modules.
Inspired by this, we propose Concept-Centric Transformers, a simple yet
effective configuration of the shared global workspace for interpretability,
consisting of: i) an object-centric-based memory module for extracting semantic
concepts from input features, ii) a cross-attention mechanism between the
learned concept and input embeddings, and iii) standard classification and
explanation losses to allow human analysts to directly assess an explanation
for the model's classification reasoning. We test our approach against other
existing concept-based methods on classification tasks for various datasets,
including CIFAR100, CUB-200-2011, and ImageNet, and we show that our model
achieves better classification accuracy than all baselines across all problems
but also generates more consistent concept-based explanations of classification
output.
- Abstract（参考訳）: 多くの解釈可能なAIアプローチが提案され、モデルの意思決定に妥当な説明を提供している。
しかし、計算モジュール間で効果的に通信する説明可能なモデルの設定は、あまり注目されていない。
最近提案されたグローバルワークスペース理論により、分散モジュールのネットワークは、通信制約によってモジュール間の特殊化、構成性、同期が促進されるため、ボトルネックメモリと情報を共有できることがわかった。
そこで本稿では,概念中心トランスフォーマーを提案する。概念中心トランスフォーマーは,解釈可能性のための共有グローバルワークスペースの単純かつ効果的な構成である。
一 入力特徴から意味概念を抽出するためのオブジェクト中心メモリモジュール
二 学習概念と入力埋め込みの相互注意機構
三 人間のアナリストがモデルの分類推論の説明を直接評価できるようにするための標準分類及び説明損失。
cifar100、cub-200-2011、imagenetなど、さまざまなデータセットの分類タスクに関する既存の概念ベースの手法に対して、このアプローチをテストした結果、すべての問題に対するすべてのベースラインよりも優れた分類精度が得られただけでなく、分類アウトプットの一貫性に基づいた概念ベースの説明も生み出しています。
関連論文リスト
- Decompose the model: Mechanistic interpretability in image models with Generalized Integrated Gradients (GIG) [24.02036048242832]
本稿では,すべての中間層を経由した入力から,データセット全体の最終的な出力まで,経路全体をトレースする新しい手法を提案する。
本稿では,PFV(Pointwise Feature Vectors)とERF(Effective Receptive Fields)を用いて,モデル埋め込みを解釈可能な概念ベクトルに分解する。
そして,汎用統合勾配(GIG)を用いて概念ベクトル間の関係を計算し,モデル行動の包括的,データセットワイドな解析を可能にする。
論文 参考訳（メタデータ） (2024-09-03T05:19:35Z) - AdaCBM: An Adaptive Concept Bottleneck Model for Explainable and Accurate Diagnosis [38.16978432272716]
CLIPやConcept Bottleneck Models(CBM)といったビジョン言語モデルの統合は、ディープニューラルネットワーク(DNN)の決定を説明するための有望なアプローチを提供する。
CLIPは説明可能性とゼロショット分類の両方を提供するが、ジェネリックイメージとテキストデータによる事前トレーニングは、その分類精度と医療画像診断タスクへの適用性を制限する可能性がある。
本稿では, 単純な線形分類システムとして, 幾何学的表現のレンズを通して CBM フレームワークを再検討することによって, 従来と異なるアプローチをとる。
論文 参考訳（メタデータ） (2024-08-04T11:59:09Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳（メタデータ） (2024-05-02T17:59:01Z) - MCPNet: An Interpretable Classifier via Multi-Level Concept Prototypes [24.28807025839685]
我々は、低レベルの特徴の意思決定プロセスに関する洞察が欠如している説明は、完全に忠実でも有用でもないと論じる。
本稿では,クラス認識概念分布(CCD)の損失を通じて,分類目的のマルチレベル概念のプロトタイプ分布を学習・調整する新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-04-13T11:13:56Z) - Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳（メタデータ） (2024-03-03T15:53:48Z) - Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。
本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。
この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
論文 参考訳（メタデータ） (2024-01-09T16:16:16Z) - Universal Information Extraction as Unified Semantic Matching [54.19974454019611]
情報抽出を,異なるタスクやスキーマで共有される構造化と概念化という,2つの能力に分割する。
このパラダイムに基づいて、統一意味マッチングフレームワークを用いて様々なIEタスクを普遍的にモデル化することを提案する。
このように、USMはスキーマと入力テキストを共同でエンコードし、サブ構造を一様に並列に抽出し、必要に応じてターゲット構造を制御できる。
論文 参考訳（メタデータ） (2023-01-09T11:51:31Z) - Translational Concept Embedding for Generalized Compositional Zero-shot
Learning [73.60639796305415]
一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。
本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
論文 参考訳（メタデータ） (2021-12-20T21:27:51Z) - Visual Concept Reasoning Networks [93.99840807973546]
分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。
我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。
提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
論文 参考訳（メタデータ） (2020-08-26T20:02:40Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-13T18:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。