論文の概要: CAT: Interpretable Concept-based Taylor Additive Models

• arxiv url: http://arxiv.org/abs/2406.17931v3
• Date: Wed, 31 Jul 2024 00:31:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 13:17:29.837325
• Title: CAT: Interpretable Concept-based Taylor Additive Models
• Title（参考訳）: CAT:解釈可能な概念ベーステイラー付加モデル
• Authors: Viet Duong, Qiong Wu, Zhengyi Zhou, Hongjue Zhao, Chenxiang Luo, Eric Zavesky, Huaxiu Yao, Huajie Shao,
• Abstract要約: 一般化付加モデル(GAM)は、機能レベルでディープニューラルネットワーク(DNN)を説明することができる。 GAMは多数のモデルパラメータを必要とし、オーバーフィットする傾向があり、トレーニングやスケールが困難になる。 我々は、このプロセスに対して、新しい解釈可能な概念bAsed Taylor加法モデルであるCATを提案する。
• 参考スコア（独自算出の注目度）: 17.73885202930879
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As an emerging interpretable technique, Generalized Additive Models (GAMs) adopt neural networks to individually learn non-linear functions for each feature, which are then combined through a linear model for final predictions. Although GAMs can explain deep neural networks (DNNs) at the feature level, they require large numbers of model parameters and are prone to overfitting, making them hard to train and scale. Additionally, in real-world datasets with many features, the interpretability of feature-based explanations diminishes for humans. To tackle these issues, recent research has shifted towards concept-based interpretable methods. These approaches try to integrate concept learning as an intermediate step before making predictions, explaining the predictions in terms of human-understandable concepts. However, these methods require domain experts to extensively label concepts with relevant names and their ground-truth values. In response, we propose CAT, a novel interpretable Concept-bAsed Taylor additive model to simply this process. CAT does not have to require domain experts to annotate concepts and their ground-truth values. Instead, it only requires users to simply categorize input features into broad groups, which can be easily accomplished through a quick metadata review. Specifically, CAT first embeds each group of input features into one-dimensional high-level concept representation, and then feeds the concept representations into a new white-box Taylor Neural Network (TaylorNet). The TaylorNet aims to learn the non-linear relationship between the inputs and outputs using polynomials. Evaluation results across multiple benchmarks demonstrate that CAT can outperform or compete with the baselines while reducing the need of extensive model parameters. Importantly, it can explain model predictions through high-level concepts that human can understand.
• Abstract（参考訳）: 一般化付加モデル(GAM)は、新しい解釈可能な手法として、ニューラルネットワークを用いて各特徴の非線形関数を個別に学習し、最終的な予測のために線形モデルを介して結合する。 GAMは、機能レベルではディープニューラルネットワーク(DNN)を説明することができるが、大量のモデルパラメータを必要とし、オーバーフィットする傾向があり、トレーニングとスケールが困難である。 さらに、多くの特徴を持つ現実世界のデータセットでは、特徴に基づく説明の解釈可能性が人間にとって低下する。 これらの課題に対処するため、近年の研究は概念に基づく解釈方法へと移行している。 これらのアプローチは、予測を行う前に概念学習を中間段階として統合し、人間の理解可能な概念の観点から予測を説明する。 しかし、これらの手法はドメインの専門家に対して、関連する名前とその基礎的真理値で広く概念をラベル付けする必要がある。 そこで本研究では,このプロセスに対して,新しい解釈可能な概念bAsed Taylor加法モデルであるCATを提案する。 CATは、ドメインの専門家が概念とその基盤となる真理値に注釈を付ける必要はない。 代わりに、ユーザーは入力機能をより広いグループに分類するだけでよい。 特に、CATはまず入力特徴群を1次元の高次概念表現に埋め込み、その概念表現を新しいホワイトボックスTaylorNet(TaylorNet)に供給する。 TaylorNetは、入力と出力の間の非線形関係を多項式を用いて学習することを目的としている。 複数のベンチマークによる評価結果は、CATが広範なモデルパラメータの必要性を減らしながら、ベースラインを上回り、競争することができることを示している。 重要なのは、人間が理解できる高レベルの概念を通じて、モデル予測を説明することができることだ。

関連論文リスト

• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• COCKATIEL: COntinuous Concept ranKed ATtribution with Interpretable ELements for explaining neural net classifiers on NLP tasks [3.475906200620518]
  COCKATIELは、新しい、ポストホック、コンセプトベース、モデルに依存しないXAI技術である。 NLP分類タスクでトレーニングされたニューラルネットモデルの最後の層から意味のある説明を生成する。 基礎となるモデルの精度を損なうことなく、新しいモデルをトレーニングする必要もない。
  論文  参考訳（メタデータ） (2023-05-11T12:22:20Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Invertible Concept-based Explanations for CNN Models with Non-negative Concept Activation Vectors [24.581839689833572]
  コンピュータビジョンのための畳み込みニューラルネットワーク(CNN)モデルは強力だが、最も基本的な形式では説明不可能である。 近似線形モデルの特徴的重要性による最近の説明に関する研究は、入力レベル特徴から概念活性化ベクトル(CAV)の形で中間層特徴写像から特徴へと移行した。 本稿では,Ghorbani etal.のACEアルゴリズムを再考し,その欠点を克服するために,別の非可逆的概念ベース説明(ICE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-27T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。