論文の概要: A Diagnostic Study of Explainability Techniques for Text Classification

• arxiv url: http://arxiv.org/abs/2009.13295v1
• Date: Fri, 25 Sep 2020 12:01:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 22:21:53.181415
• Title: A Diagnostic Study of Explainability Techniques for Text Classification
• Title（参考訳）: テキスト分類における説明可能性手法の診断的研究
• Authors: Pepa Atanasova, Jakob Grue Simonsen, Christina Lioma, Isabelle Augenstein
• Abstract要約: 既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
• 参考スコア（独自算出の注目度）: 52.879658637466605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent developments in machine learning have introduced models that approach human performance at the cost of increased architectural complexity. Efforts to make the rationales behind the models' predictions transparent have inspired an abundance of new explainability techniques. Provided with an already trained model, they compute saliency scores for the words of an input instance. However, there exists no definitive guide on (i) how to choose such a technique given a particular application task and model architecture, and (ii) the benefits and drawbacks of using each such technique. In this paper, we develop a comprehensive list of diagnostic properties for evaluating existing explainability techniques. We then employ the proposed list to compare a set of diverse explainability techniques on downstream text classification tasks and neural network architectures. We also compare the saliency scores assigned by the explainability techniques with human annotations of salient input regions to find relations between a model's performance and the agreement of its rationales with human ones. Overall, we find that the gradient-based explanations perform best across tasks and model architectures, and we present further insights into the properties of the reviewed explainability techniques.
• Abstract（参考訳）: 機械学習の最近の進歩は、アーキテクチャの複雑さを増大させ、人のパフォーマンスにアプローチするモデルを導入している。 モデルの予測を透明にすることの理論的根拠を作る努力は、多くの新しい説明可能性技術を生み出した。 既にトレーニング済みのモデルで提供されると、入力インスタンスのワードに対するサリエンシスコアが計算される。 しかし、明確なガイドは存在しない。 (i)特定のアプリケーション・タスク及びモデル・アーキテクチャを与えられた技法をどのように選択するか、及び (二)各技法の利点及び欠点 本稿では,既存の説明可能性評価のための診断特性の包括的リストを作成する。 次に,提案するリストを用いて,下流のテキスト分類タスクとニューラルネットワークアーキテクチャにおける多種多様な説明可能性手法を比較した。 また,説明可能性手法が与えるサラマンシースコアと有意な入力領域の人間の注釈を比較し,モデルの性能と,その妥当性の一致度との関係について検討した。 総じて,グラデーションに基づく説明は,タスクやモデルアーキテクチャにおいて最良であることが判明し,レビューされた説明可能性技法の特性についてさらなる知見を提供する。

関連論文リスト

• CNN-based explanation ensembling for dataset, representation and explanations evaluation [1.1060425537315088]
  畳み込みモデルを用いた深層分類モデルによる説明文の要約の可能性について検討する。 実験と分析を通じて、モデル行動のより一貫性と信頼性のあるパターンを明らかにするために、説明を組み合わせることの意味を明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-04-16T08:39:29Z)
• Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
  ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。 本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:39:33Z)
• What Does Evaluation of Explainable Artificial Intelligence Actually Tell Us? A Case for Compositional and Contextual Validation of XAI Building Blocks [16.795332276080888]
  本稿では,説明可能な人工知能システムのためのきめ細かい検証フレームワークを提案する。 技術的ビルディングブロック,ユーザによる説明的成果物,ソーシャルコミュニケーションプロトコルといった,モジュール構造の本質を認識します。
  論文  参考訳（メタデータ） (2024-03-19T13:45:34Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• Quantifying Explainability in NLP and Analyzing Algorithms for Performance-Explainability Tradeoff [0.0]
  臨床テキスト分類におけるケーススタディにおける説明可能性と解釈可能性の現状について考察する。 完全解釈可能な手法とモデルに依存しないポストホック属性に対する様々な可視化手法を実証する。 我々は,モデルの予測性能と利用可能な説明の質との間のフロンティアを,実践者や研究者が評価できる枠組みを導入する。
  論文  参考訳（メタデータ） (2021-07-12T19:07:24Z)
• Explaining Convolutional Neural Networks through Attribution-Based Input Sampling and Block-Wise Feature Aggregation [22.688772441351308]
  クラスアクティベーションマッピングとランダムな入力サンプリングに基づく手法が広く普及している。 しかし、帰属法は、その説明力を制限した解像度とぼやけた説明地図を提供する。 本研究では、帰属型入力サンプリング技術に基づいて、モデルの複数の層から可視化マップを収集する。 また,CNNモデル全体に適用可能な層選択戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-01T20:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。