論文の概要: Concept-based explainability for an EEG transformer model

• arxiv url: http://arxiv.org/abs/2307.12745v1
• Date: Mon, 24 Jul 2023 12:36:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 14:21:53.255538
• Title: Concept-based explainability for an EEG transformer model
• Title（参考訳）: 脳波トランスフォーマモデルの概念に基づく説明可能性
• Authors: Anders Gj{\o}lbye Madsen, William Theodor Lehn-Schi{\o}ler, \'Ashildur J\'onsd\'ottir, Bergd\'is Arnard\'ottir, Lars Kai Hansen
• Abstract要約: 概念ベクトル (Concept Vectors, CAVs) は、深層モデルの内部状態を理解することを目的とした概念である。 両手法が深部脳波モデルで学習した表現に有意義な洞察を与える証拠を提示する。
• 参考スコア（独自算出の注目度）: 3.3546257721153716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models are complex due to their size, structure, and inherent randomness in training procedures. Additional complexity arises from the selection of datasets and inductive biases. Addressing these challenges for explainability, Kim et al. (2018) introduced Concept Activation Vectors (CAVs), which aim to understand deep models' internal states in terms of human-aligned concepts. These concepts correspond to directions in latent space, identified using linear discriminants. Although this method was first applied to image classification, it was later adapted to other domains, including natural language processing. In this work, we attempt to apply the method to electroencephalogram (EEG) data for explainability in Kostas et al.'s BENDR (2021), a large-scale transformer model. A crucial part of this endeavor involves defining the explanatory concepts and selecting relevant datasets to ground concepts in the latent space. Our focus is on two mechanisms for EEG concept formation: the use of externally labeled EEG datasets, and the application of anatomically defined concepts. The former approach is a straightforward generalization of methods used in image classification, while the latter is novel and specific to EEG. We present evidence that both approaches to concept formation yield valuable insights into the representations learned by deep EEG models.
• Abstract（参考訳）: ディープラーニングモデルは、トレーニング手順のサイズ、構造、固有のランダム性のために複雑である。 追加の複雑さはデータセットの選択と帰納バイアスから生じる。 説明可能性に関するこれらの課題に対処するため、Kim et al. (2018) は深層モデルの内部状態を理解することを目的とした概念活性化ベクトル (Concept Activation Vectors, CAV) を導入した。 これらの概念は、線形判別式を用いて識別される潜在空間の方向に対応する。 この手法はまず画像分類に適用されたが、後に自然言語処理を含む他の領域にも適用された。 本研究では,大規模トランスフォーマーモデルであるkostas et al.'s bendr (2021) を用いて,脳波データに本手法を適用し,その説明可能性について検討する。 この取り組みの重要な部分は、説明的な概念を定義し、潜在空間の概念を基礎付けるための関連するデータセットを選択することである。 我々は、外部ラベル付きEEGデータセットの使用と、解剖学的に定義された概念の適用の2つのメカニズムに焦点を当てている。 前者のアプローチは画像分類で用いられる手法の直接的な一般化であり、後者は脳波に特有な新しい手法である。 どちらの概念形成アプローチも、深層脳波モデルによって学習された表現に対する貴重な洞察を与えていることを示す。

関連論文リスト

• Decompose the model: Mechanistic interpretability in image models with Generalized Integrated Gradients (GIG) [24.02036048242832]
  本稿では,すべての中間層を経由した入力から,データセット全体の最終的な出力まで,経路全体をトレースする新しい手法を提案する。 本稿では,PFV(Pointwise Feature Vectors)とERF(Effective Receptive Fields)を用いて,モデル埋め込みを解釈可能な概念ベクトルに分解する。 そして,汎用統合勾配(GIG)を用いて概念ベクトル間の関係を計算し,モデル行動の包括的,データセットワイドな解析を可能にする。
  論文  参考訳（メタデータ） (2024-09-03T05:19:35Z)
• Knowledge graphs for empirical concept retrieval [1.06378109904813]
  概念に基づく説明可能なAIは、あるユーザの前提における複雑なモデルの理解を改善するツールとして期待されている。 本稿では,テキスト領域と画像領域の両方でユーザ主導のデータ収集を行うワークフローを提案する。 我々は,概念アクティベーションベクトル(CAV)と概念アクティベーション領域(CAR)の2つの概念ベース説明可能性手法を用いて,検索した概念データセットをテストする。
  論文  参考訳（メタデータ） (2024-04-10T13:47:22Z)
• Cross-Modal Conceptualization in Bottleneck Models [21.2577097041883]
  概念ボトルネックモデル(CBM)は、訓練例(例えば、x線画像)が高レベルの概念で注釈付けされていると仮定する。 このアプローチでは、より穏健な仮定を採用し、代わりに、訓練中の画像に付随するテキスト記述を用いて概念の導出を誘導する。 我々のクロスモーダルアプローチは,概念を離散潜在変数として扱い,(1)ラベルの予測,(2)画像とテキストの両方から確実に予測できる概念を促進する。
  論文  参考訳（メタデータ） (2023-10-23T11:00:19Z)
• Implicit Concept Removal of Diffusion Models [92.55152501707995]
  テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。 幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
  論文  参考訳（メタデータ） (2023-10-09T17:13:10Z)
• A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
  本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。 ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
  論文  参考訳（メタデータ） (2023-09-21T08:53:51Z)
• Concept backpropagation: An Explainable AI approach for visualising learned concepts in neural network models [0.0]
  本稿では,ある概念を表す情報が与えられたニューラルネットワークモデルにどのように内在化されているかを分析する方法として,Emphconcept backpropagationという概念検出手法の拡張を提案する。
  論文  参考訳（メタデータ） (2023-07-24T08:21:13Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• From Attribution Maps to Human-Understandable Explanations through Concept Relevance Propagation [16.783836191022445]
  eXplainable Artificial Intelligence(XAI)の分野は、今日の強力だが不透明なディープラーニングモデルに透明性をもたらすことを目指している。 局所的なXAI手法は属性マップの形で個々の予測を説明するが、グローバルな説明手法はモデルが一般的にエンコードするために学んだ概念を視覚化する。
  論文  参考訳（メタデータ） (2022-06-07T12:05:58Z)
• Evaluation of Self-taught Learning-based Representations for Facial Emotion Recognition [62.30451764345482]
  この研究は、顔の感情認識のための自己学習の概念を通じて得られた教師なし表現を生成するための様々な戦略を記述する。 このアイデアは、オートエンコーダの初期化、アーキテクチャ、トレーニングデータを変化させることで、多様性を促進する補完的な表現を作ることである。 Jaffe と Cohn-Kanade のデータセットに対する残余のサブジェクトアウトプロトコルによる実験結果から,提案した多種多様な表現に基づく FER 手法が最先端のアプローチと好適に比較できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-26T22:48:15Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。