論文の概要: Corpus-level and Concept-based Explanations for Interpretable Document Classification

• arxiv url: http://arxiv.org/abs/2004.13003v4
• Date: Mon, 31 May 2021 03:22:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 02:39:38.544352
• Title: Corpus-level and Concept-based Explanations for Interpretable Document Classification
• Title（参考訳）: 解釈可能な文書分類のためのコーパスレベルと概念ベース説明
• Authors: Tian Shi, Xuchao Zhang, Ping Wang, Chandan K. Reddy
• Abstract要約: 本稿では,キーワードとモデル予測の間の因果関係を捉えるためのコーパスレベルの説明手法を提案する。 また,より高レベルな概念を自動学習し,モデル予測タスクにおいて重要となる概念に基づく説明手法を提案する。
• 参考スコア（独自算出の注目度）: 23.194220621342254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using attention weights to identify information that is important for models' decision-making is a popular approach to interpret attention-based neural networks. This is commonly realized in practice through the generation of a heat-map for every single document based on attention weights. However, this interpretation method is fragile, and easy to find contradictory examples. In this paper, we propose a corpus-level explanation approach, which aims to capture causal relationships between keywords and model predictions via learning the importance of keywords for predicted labels across a training corpus based on attention weights. Based on this idea, we further propose a concept-based explanation method that can automatically learn higher-level concepts and their importance to model prediction tasks. Our concept-based explanation method is built upon a novel Abstraction-Aggregation Network, which can automatically cluster important keywords during an end-to-end training process. We apply these methods to the document classification task and show that they are powerful in extracting semantically meaningful keywords and concepts. Our consistency analysis results based on an attention-based Na\"ive Bayes classifier also demonstrate these keywords and concepts are important for model predictions.
• Abstract（参考訳）: 注意重みを用いて、モデルの意思決定に重要な情報を識別することは、注意に基づくニューラルネットワークを解釈する一般的なアプローチである。 これは、注意の重み付けに基づいて各文書のヒートマップを生成することで、一般的に実現されている。 しかし、この解釈法は脆弱であり、矛盾する例を見つけることは容易である。 本稿では,単語とモデル予測の因果関係を,注意重みに基づく学習コーパス全体にわたる予測ラベルに対するキーワードの重要性を学習することにより捉えるコーパスレベルの説明手法を提案する。 そこで本研究では,より高レベルな概念とモデル予測タスクの重要性を自動学習する概念に基づく説明手法を提案する。 概念ベースの説明手法は,エンドツーエンドのトレーニングプロセス中に重要なキーワードを自動的にクラスタ化可能な,新たな抽象化集約ネットワーク上に構築されている。 これらの手法を文書分類タスクに適用し,意味論的意味のあるキーワードや概念の抽出に有効であることを示す。 注意に基づくna\"ive bayes分類器に基づく一貫性解析の結果も,これらのキーワードと概念がモデル予測に重要であることを示す。

関連論文リスト

• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
  本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。 本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。 この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
  論文  参考訳（メタデータ） (2024-01-09T16:16:16Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Simple Mechanisms for Representing, Indexing and Manipulating Concepts [46.715152257557804]
  我々は、概念の具体的な表現やシグネチャを生成するために、そのモーメント統計行列を見ることで概念を学ぶことができると論じる。 概念が交差しているとき、概念のシグネチャを使用して、関連する多くの相互交差した概念の共通テーマを見つけることができる。
  論文  参考訳（メタデータ） (2023-10-18T17:54:29Z)
• Uncovering Unique Concept Vectors through Latent Space Decomposition [0.0]
  概念に基づく説明は、特徴帰属推定よりも解釈可能な優れたアプローチとして現れてきた。 本稿では,訓練中に深層モデルから学んだ概念を自動的に発見するポストホックな教師なし手法を提案する。 実験の結果、我々の概念の大部分は、人間にとって容易に理解でき、一貫性を示し、目の前の課題に関連があることが判明した。
  論文  参考訳（メタデータ） (2023-07-13T17:21:54Z)
• Assessing Word Importance Using Models Trained for Semantic Tasks [0.0]
  我々は、自然言語推論とパラフレーズ同定という、意味的課題を解決するために訓練されたモデルから単語の意義を導き出す。 我々は、いわゆるクロスタスク評価を用いて、それらの妥当性を評価する。 本手法は, 文章中の重要な単語を, 学習における単語のラベル付けを伴わずに識別することができる。
  論文  参考訳（メタデータ） (2023-05-31T09:34:26Z)
• Unsupervised Keyphrase Extraction via Interpretable Neural Networks [27.774524511005172]
  テキストのトピックを予測するのに最も有用なキーワードは重要なキーワードである。 InSPECTは、影響力のあるキーフレーズを識別するための自己説明型ニューラルネットワークフレームワークである。 InSPECTは4つの異なるデータセットから教師なし鍵抽出を行う。
  論文  参考訳（メタデータ） (2022-03-15T04:30:47Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• Active Refinement for Multi-Label Learning: A Pseudo-Label Approach [84.52793080276048]
  MLL(Multi-label Learning)は、あるインスタンスと関連するラベルを一連の概念から関連付けることを目的としている。 MLLの以前の研究は、主に概念セットが修正されると思われる設定に焦点を当てていた。 多くの現実世界のアプリケーションは、新しい要求を満たすために新しい概念をセットに導入する必要がある。
  論文  参考訳（メタデータ） (2021-09-29T19:17:05Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Instance-Based Learning of Span Representations: A Case Study through Named Entity Recognition [48.06319154279427]
  本研究では,スパン間の類似性を学習するインスタンスベースの学習手法を提案する。 本手法では,性能を犠牲にすることなく高い解釈性を持つモデルを構築することができる。
  論文  参考訳（メタデータ） (2020-04-29T23:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。