論文の概要: Language Model Meets Prototypes: Towards Interpretable Text Classification Models through Prototypical Networks

• arxiv url: http://arxiv.org/abs/2412.03761v1
• Date: Wed, 04 Dec 2024 22:59:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:44.128001
• Title: Language Model Meets Prototypes: Towards Interpretable Text Classification Models through Prototypical Networks
• Title（参考訳）: 言語モデルと原型: 原型ネットワークによる解釈可能なテキスト分類モデルを目指して
• Authors: Ximing Wen,
• Abstract要約: 論文は、LMをエンコーダとして使用する際に本質的に解釈可能なモデルを開発することに焦点を当てている。 ホワイトボックスのマルチヘッドグラフアテンションに基づくプロトタイプネットワークを開発した。 私は、解釈可能なグラフニューラルネットワークを再設計するために、コントラスト学習による注意ベースのプロトタイプネットワークの拡張に取り組んでいます。
• 参考スコア（独自算出の注目度）: 1.1711824752079485
• License:
• Abstract: Pretrained transformer-based Language Models (LMs) are well-known for their ability to achieve significant improvement on NLP tasks, but their black-box nature, which leads to a lack of interpretability, has been a major concern. My dissertation focuses on developing intrinsically interpretable models when using LMs as encoders while maintaining their superior performance via prototypical networks. I initiated my research by investigating enhancements in performance for interpretable models of sarcasm detection. My proposed approach focuses on capturing sentiment incongruity to enhance accuracy while offering instance-based explanations for the classification decisions. Later, I developed a novel white-box multi-head graph attention-based prototype network designed to explain the decisions of text classification models without sacrificing the accuracy of the original black-box LMs. In addition, I am working on extending the attention-based prototype network with contrastive learning to redesign an interpretable graph neural network, aiming to enhance both the interpretability and performance of the model in document classification.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーベース言語モデル(LM)は、NLPタスクの大幅な改善を実現する能力でよく知られているが、そのブラックボックスの性質は、解釈可能性の欠如につながっている。 私の論文は、LMをエンコーダとして使用する際に本質的に解釈可能なモデルを開発することと、プロトタイプネットワークによる優れた性能を維持することに焦点を当てている。 サルカズム検出の解釈可能なモデルの性能向上を調査して研究を始めた。 私の提案するアプローチは、評価の不整合を捉え、精度を高めながら、分類決定のインスタンスベースの説明を提供することに重点を置いている。 その後,従来のブラックボックスLMの精度を犠牲にすることなく,テキスト分類モデルの判断を説明するために,ホワイトボックスのマルチヘッドグラフアテンションに基づくプロトタイプネットワークを開発した。 さらに,文書分類におけるモデルの解釈可能性と性能の向上を目的とした,解釈可能なグラフニューラルネットワークの再設計のために,コントラスト学習による注意に基づくプロトタイプネットワークの拡張に取り組んでいる。

関連論文リスト

• Improving Neuron-level Interpretability with White-box Language Models [11.898535906016907]
  我々は、CRATE(Coding RAte TransformEr)という、ホワイトボックストランスフォーマーのようなアーキテクチャを導入する。 包括的実験では、ニューロンレベルの解釈可能性において、顕著な改善(最大103%の相対的な改善)が見られた。 CRATEの解釈可能性の向上は、関連するトークンを一貫して一意に活性化する能力の強化によるものである。
  論文  参考訳（メタデータ） (2024-10-21T19:12:33Z)
• GAProtoNet: A Multi-head Graph Attention-based Prototypical Network for Interpretable Text Classification [1.170190320889319]
  GAProtoNetは、新しいホワイトボックスマルチヘッドグラフアテンションベースのプロトタイプネットワークである。 提案手法は,元のブラックボックスLMの精度を犠牲にすることなく,優れた結果が得られる。 プロトタイプクラスタのケーススタディと可視化は,LMを用いて構築したブラックボックスモデルの決定を効率的に説明できることを示す。
  論文  参考訳（メタデータ） (2024-09-20T08:15:17Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Interpretable Prototype-based Graph Information Bottleneck [22.25047783463307]
  本稿では,PGIB(Interpretable Prototype-based Graph Information Bottleneck)と呼ばれる,説明可能なグラフニューラルネットワーク(GNN)の新たなフレームワークを提案する。 PGIBは、情報ボトルネックフレームワークにプロトタイプ学習を組み込んで、モデル予測に重要な入力グラフから重要な部分グラフをプロトタイプに提供する。 定性的分析を含む広範囲な実験により、PGIBは予測性能と説明可能性の両方の観点から最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-30T18:16:19Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• A Framework to Learn with Interpretation [2.3741312212138896]
  本稿では,予測モデルとその関連解釈モデルを共同で学習する新しい枠組みを提案する。 我々は,選択した隠れ層の出力を入力として取り込む,高レベル属性関数の小型辞書を求める。 学習した機能を視覚化する詳細なパイプラインも開発されている。
  論文  参考訳（メタデータ） (2020-10-19T09:26:28Z)
• Learning Variational Word Masks to Improve the Interpretability of Neural Text Classifiers [21.594361495948316]
  モデルの解釈可能性を改善するための新しい取り組みが始まったばかりで、既存の多くのメソッドでは、トレーニングの追加インプットとして事前情報または人的アノテーションが必要である。 本稿では,タスク固有の重要な単語を自動的に学習し,分類に関する無関係な情報を低減し,最終的にモデル予測の解釈可能性を向上させるための変分語マスク(VMASK)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-01T20:02:43Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)
• Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
  ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。 解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。 一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
  論文  参考訳（メタデータ） (2020-05-06T01:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。