論文の概要: Robust Text Classification: Analyzing Prototype-Based Networks
- arxiv url: http://arxiv.org/abs/2311.06647v1
- Date: Sat, 11 Nov 2023 19:34:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 17:29:54.256559
- Title: Robust Text Classification: Analyzing Prototype-Based Networks
- Title(参考訳): ロバストテキスト分類:プロトタイプベースネットワークの解析
- Authors: Zhivar Sourati, Darshan Deshpande, Filip Ilievski, Kiril Gashteovski,
Sascha Saralajew
- Abstract要約: プロトタイプベースネットワーク(PBN)のロバスト性がテキスト分類タスクに移行するかどうかを検討する。
3つのベンチマーク実験により,現実的な摂動に直面したNLP分類タスクへのPBNのロバスト性を示す。
- 参考スコア(独自算出の注目度): 12.977267954552406
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Downstream applications often require text classification models to be
accurate, robust, and interpretable. While the accuracy of the stateof-the-art
language models approximates human performance, they are not designed to be
interpretable and often exhibit a drop in performance on noisy data. The family
of PrototypeBased Networks (PBNs) that classify examples based on their
similarity to prototypical examples of a class (prototypes) is natively
interpretable and shown to be robust to noise, which enabled its wide usage for
computer vision tasks. In this paper, we study whether the robustness
properties of PBNs transfer to text classification tasks. We design a modular
and comprehensive framework for studying PBNs, which includes different
backbone architectures, backbone sizes, and objective functions. Our evaluation
protocol assesses the robustness of models against character-, word-, and
sentence-level perturbations. Our experiments on three benchmarks show that the
robustness of PBNs transfers to NLP classification tasks facing realistic
perturbations. Moreover, the robustness of PBNs is supported mostly by the
objective function that keeps prototypes interpretable, while the robustness
superiority of PBNs over vanilla models becomes more salient as datasets get
more complex.
- Abstract(参考訳): 下流のアプリケーションは、正確で堅牢で解釈可能なテキスト分類モデルを必要とすることが多い。
最先端言語モデルの精度は人間のパフォーマンスに近似するが、解釈可能ではなく、しばしばノイズの多いデータに性能の低下を示す。
クラス(プロトタイプ)の原型的な例と類似性に基づいて例を分類するプロトタイプベースネットワーク(pbns)のファミリは、ネイティブに解釈可能であり、ノイズに頑健であることが示され、コンピュータビジョンタスクに広く使用される。
本稿では,PBNのロバスト性がテキスト分類タスクに伝達されるかどうかを考察する。
我々は、異なるバックボーンアーキテクチャ、バックボーンサイズ、objective関数を含むpbnを研究するためのモジュラーで包括的なフレームワークを設計する。
評価プロトコルは,文字・単語・文レベルの摂動に対するモデルの堅牢性を評価する。
3つのベンチマーク実験により,現実的な摂動に直面したNLP分類タスクへのPBNのロバスト性を示す。
さらに、pbnのロバスト性は、主にプロトタイプを解釈可能な目的関数によってサポートされ、データセットが複雑になるにつれて、バニラモデルよりもpbnのロバスト性がより顕著になる。
関連論文リスト
- Evaluation and Improvement of Interpretability for Self-Explainable
Part-Prototype Networks [43.821442711496154]
パートプロトタイプネットワークは、固有の解釈可能性と非解釈可能ネットワークと同等の精度で、幅広い研究の関心を集めている。
本研究は,パートプロトタイプネットワークの解釈可能性について定量的かつ客観的に評価する試みである。
本研究では, 浅層深度特徴アライメントモジュールとスコアアグリゲーションモジュールを備えた高精細な部分プロトタイプネットワークを提案し, プロトタイプの解釈性を向上させる。
論文 参考訳(メタデータ) (2022-12-12T14:59:11Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳(メタデータ) (2022-12-09T03:58:22Z) - Model Criticism for Long-Form Text Generation [113.13900836015122]
我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。
我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。
トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
論文 参考訳(メタデータ) (2022-10-16T04:35:58Z) - A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。
主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。
コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
論文 参考訳(メタデータ) (2022-06-19T08:55:07Z) - Learning Target-aware Representation for Visual Tracking via Informative
Interactions [49.552877881662475]
トラッキングのための特徴表現のターゲット認識能力を改善するために,新しいバックボーンアーキテクチャを提案する。
提案したGIMモジュールとInBN機構は、CNNやTransformerなど、さまざまなバックボーンタイプに適用可能である。
論文 参考訳(メタデータ) (2022-01-07T16:22:27Z) - Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。
BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。
特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
論文 参考訳(メタデータ) (2021-09-10T12:13:45Z) - Evaluating the Robustness of Neural Language Models to Input
Perturbations [7.064032374579076]
本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。
本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。
その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
論文 参考訳(メタデータ) (2021-08-27T12:31:17Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳(メタデータ) (2021-01-18T08:37:13Z) - Discriminatory Expressions to Produce Interpretable Models in Short
Documents [0.0]
State-of-the-artモデルは、社会的影響のある問題の解決に使用すべきではないブラックボックスである。
本稿では,少ないが有意義な特徴を用いることで,理解度を向上させる機能選択機構を提案する。
論文 参考訳(メタデータ) (2020-11-27T19:00:50Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。