論文の概要: GAProtoNet: A Multi-head Graph Attention-based Prototypical Network for Interpretable Text Classification
- arxiv url: http://arxiv.org/abs/2409.13312v1
- Date: Fri, 20 Sep 2024 08:15:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 03:03:02.528612
- Title: GAProtoNet: A Multi-head Graph Attention-based Prototypical Network for Interpretable Text Classification
- Title(参考訳): GAProtoNet:解釈可能なテキスト分類のためのマルチヘッドグラフアテンションに基づくプロトタイプネットワーク
- Authors: Ximing Wen, Wenjuan Tan, Rosina O. Weber,
- Abstract要約: GAProtoNetは、新しいホワイトボックスマルチヘッドグラフアテンションベースのプロトタイプネットワークである。
提案手法は,元のブラックボックスLMの精度を犠牲にすることなく,優れた結果が得られる。
プロトタイプクラスタのケーススタディと可視化は,LMを用いて構築したブラックボックスモデルの決定を効率的に説明できることを示す。
- 参考スコア(独自算出の注目度): 1.170190320889319
- License:
- Abstract: Pretrained transformer-based Language Models (LMs) are well-known for their ability to achieve significant improvement on text classification tasks with their powerful word embeddings, but their black-box nature, which leads to a lack of interpretability, has been a major concern. In this work, we introduce GAProtoNet, a novel white-box Multi-head Graph Attention-based Prototypical Network designed to explain the decisions of text classification models built with LM encoders. In our approach, the input vector and prototypes are regarded as nodes within a graph, and we utilize multi-head graph attention to selectively construct edges between the input node and prototype nodes to learn an interpretable prototypical representation. During inference, the model makes decisions based on a linear combination of activated prototypes weighted by the attention score assigned for each prototype, allowing its choices to be transparently explained by the attention weights and the prototypes projected into the closest matching training examples. Experiments on multiple public datasets show our approach achieves superior results without sacrificing the accuracy of the original black-box LMs. We also compare with four alternative prototypical network variations and our approach achieves the best accuracy and F1 among all. Our case study and visualization of prototype clusters also demonstrate the efficiency in explaining the decisions of black-box models built with LMs.
- Abstract(参考訳): 事前訓練されたトランスフォーマーベース言語モデル(LM)は、強力な単語埋め込みによるテキスト分類タスクの大幅な改善を達成できることでよく知られているが、そのブラックボックスの性質は、解釈可能性の欠如につながっている。
本稿では,LMエンコーダで構築したテキスト分類モデルの決定を記述した,新しいホワイトボックスのマルチヘッドグラフアテンションに基づくプロトタイプネットワークであるGAProtoNetを紹介する。
提案手法では,入力ベクトルとプロトタイプをグラフ内のノードとみなし,入力ノードとプロトタイプノードの間のエッジを選択的に構築し,解釈可能なプロトタイプ表現を学習する。
推測中、モデルは各プロトタイプに割り当てられた注目スコアによって重み付けされた活性型プロトタイプの線形結合に基づいて決定を行い、その選択を注意重みによって透過的に説明し、最も近いマッチングトレーニング例に投影する。
複数の公開データセットを用いた実験により,元のブラックボックスLMの精度を犠牲にすることなく,より優れた結果が得られた。
また,提案手法は4種類のネットワーク変動を比較検討し,F1の精度と精度を比較検討した。
プロトタイプクラスタのケーススタディと可視化は,LMを用いて構築したブラックボックスモデルの決定を効率的に説明できることを示す。
関連論文リスト
- Mixed Prototype Consistency Learning for Semi-supervised Medical Image Segmentation [0.0]
本稿では,Mixed Prototype Consistency Learning (MPCL) フレームワークを提案する。
Mean Teacherはラベル付きおよびラベルなしデータのプロトタイプを生成し、補助ネットワークはCutMixによって処理された混合データのための追加のプロトタイプを生成する。
各クラスの高品質なグローバルプロトタイプは、2つの強化されたプロトタイプを融合して形成され、一貫性学習に使用される隠れ埋め込みの分布を最適化する。
論文 参考訳(メタデータ) (2024-04-16T16:51:12Z) - MProto: Multi-Prototype Network with Denoised Optimal Transport for
Distantly Supervised Named Entity Recognition [75.87566793111066]
本稿では,DS-NERタスクのためのMProtoというノイズロスのプロトタイプネットワークを提案する。
MProtoは、各エンティティタイプを複数のプロトタイプで表現し、クラス内の分散を特徴付ける。
不完全なラベリングからノイズを緩和するために,新しい復号化最適輸送(DOT)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-12T13:02:34Z) - With a Little Help from your own Past: Prototypical Memory Networks for
Image Captioning [47.96387857237473]
我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。
私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。
本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
論文 参考訳(メタデータ) (2023-08-23T18:53:00Z) - Unsupervised Prototype Adapter for Vision-Language Models [29.516767588241724]
我々はUnsupervised Prototype Adapter (UP-Adapter)と呼ばれる視覚言語モデルのための教師なし微調整アプローチを設計する。
具体的には、アノテーションのないターゲットデータセットに対して、CLIPのテキストイメージ整合機能を活用して、各クラスに対して最も確実なサンプルを自動的に選択する。
微調整後、プロトタイプモデル予測と元のCLIPの予測を残りの接続で組み合わせて下流認識タスクを実行する。
論文 参考訳(メタデータ) (2023-08-22T15:28:49Z) - Multimodal Prototype-Enhanced Network for Few-Shot Action Recognition [40.329190454146996]
MultimOdal PRototype-ENhanced Network (MORN)は、ラベルテキストの意味情報をマルチモーダル情報として利用してプロトタイプを強化する。
我々は4つの一般的な数発のアクション認識データセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2022-12-09T14:24:39Z) - Automatically Discovering Novel Visual Categories with Self-supervised
Prototype Learning [68.63910949916209]
本稿では,大規模な画像収集において未知のカテゴリを識別することを目的とした,新しいカテゴリ発見(NCD)の課題に取り組む。
本稿では,プロトタイプ表現学習とプロトタイプ自己学習という,2つの主要な段階からなる適応型プロトタイプ学習手法を提案する。
本研究では,4つのベンチマークデータセットについて広範な実験を行い,提案手法の有効性とロバスト性を示す。
論文 参考訳(メタデータ) (2022-08-01T16:34:33Z) - ProtoTEx: Explaining Model Decisions with Prototype Tensors [27.779971257213553]
ProtoTExは、プロトタイプネットワークに基づく新しいホワイトボックスのNLP分類アーキテクチャである。
本稿では,表現的特徴の欠如を特徴とするクラスを効果的に扱う新しいインターリーブ学習アルゴリズムについて述べる。
プロパガンダ検出タスクでは、ProtoTExの精度はBART-largeと一致し、BERT-largeを超える。
論文 参考訳(メタデータ) (2022-04-11T22:08:45Z) - Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。
我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。
この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
論文 参考訳(メタデータ) (2022-03-28T21:15:32Z) - Dual Prototypical Contrastive Learning for Few-shot Semantic
Segmentation [55.339405417090084]
本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。
第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。
提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-09T08:14:50Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳(メタデータ) (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。