論文の概要: Robust Text Classification: Analyzing Prototype-Based Networks

• arxiv url: http://arxiv.org/abs/2311.06647v1
• Date: Sat, 11 Nov 2023 19:34:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 17:29:54.256559
• Title: Robust Text Classification: Analyzing Prototype-Based Networks
• Title（参考訳）: ロバストテキスト分類:プロトタイプベースネットワークの解析
• Authors: Zhivar Sourati, Darshan Deshpande, Filip Ilievski, Kiril Gashteovski, Sascha Saralajew
• Abstract要約: プロトタイプベースネットワーク(PBN)のロバスト性がテキスト分類タスクに移行するかどうかを検討する。 3つのベンチマーク実験により,現実的な摂動に直面したNLP分類タスクへのPBNのロバスト性を示す。
• 参考スコア（独自算出の注目度）: 12.977267954552406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Downstream applications often require text classification models to be accurate, robust, and interpretable. While the accuracy of the stateof-the-art language models approximates human performance, they are not designed to be interpretable and often exhibit a drop in performance on noisy data. The family of PrototypeBased Networks (PBNs) that classify examples based on their similarity to prototypical examples of a class (prototypes) is natively interpretable and shown to be robust to noise, which enabled its wide usage for computer vision tasks. In this paper, we study whether the robustness properties of PBNs transfer to text classification tasks. We design a modular and comprehensive framework for studying PBNs, which includes different backbone architectures, backbone sizes, and objective functions. Our evaluation protocol assesses the robustness of models against character-, word-, and sentence-level perturbations. Our experiments on three benchmarks show that the robustness of PBNs transfers to NLP classification tasks facing realistic perturbations. Moreover, the robustness of PBNs is supported mostly by the objective function that keeps prototypes interpretable, while the robustness superiority of PBNs over vanilla models becomes more salient as datasets get more complex.
• Abstract（参考訳）: 下流のアプリケーションは、正確で堅牢で解釈可能なテキスト分類モデルを必要とすることが多い。 最先端言語モデルの精度は人間のパフォーマンスに近似するが、解釈可能ではなく、しばしばノイズの多いデータに性能の低下を示す。 クラス(プロトタイプ)の原型的な例と類似性に基づいて例を分類するプロトタイプベースネットワーク(pbns)のファミリは、ネイティブに解釈可能であり、ノイズに頑健であることが示され、コンピュータビジョンタスクに広く使用される。 本稿では,PBNのロバスト性がテキスト分類タスクに伝達されるかどうかを考察する。 我々は、異なるバックボーンアーキテクチャ、バックボーンサイズ、objective関数を含むpbnを研究するためのモジュラーで包括的なフレームワークを設計する。 評価プロトコルは,文字・単語・文レベルの摂動に対するモデルの堅牢性を評価する。 3つのベンチマーク実験により,現実的な摂動に直面したNLP分類タスクへのPBNのロバスト性を示す。 さらに、pbnのロバスト性は、主にプロトタイプを解釈可能な目的関数によってサポートされ、データセットが複雑になるにつれて、バニラモデルよりもpbnのロバスト性がより顕著になる。

関連論文リスト

• B-cosification: Transforming Deep Neural Networks to be Inherently Interpretable [53.848005910548565]
  B-コシフィケーション(B-cosification)は、既存の訓練済みモデルを本質的に解釈可能なものにするための新しいアプローチである。 B-コシフィケーションは、解釈可能性の観点から、スクラッチから訓練されたB-コシフィケーションモデルに匹敵するモデルが得られる。
  論文  参考訳（メタデータ） (2024-11-01T16:28:11Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Contrastive variational information bottleneck for aspect-based sentiment analysis [36.83876224466177]
  CVIB(Contrastive Variational Information Bottleneck)フレームワークを用いて,アスペクトベース感情分析(ABSA)の素早い相関性を低減することを提案する。 提案するCVIBフレームワークは,元のネットワークと自走ネットワークで構成され,これら2つのネットワークは,コントラスト学習によって同時に最適化される。 提案手法は, 全体的な予測性能, 堅牢性, 一般化の点で, 強力な競合相手よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-03-06T02:52:37Z)
• Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness [15.395021925719817]
  バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。 BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。 本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T16:16:24Z)
• On Fragile Features and Batch Normalization in Adversarial Training [83.25056150489446]
  対人訓練におけるバッチ正規化(BN)の役割について検討する。 BNは、堅牢な特徴を学ぶためのデファクト標準である敵の訓練で使用される。 この結果から, 脆弱な特徴は, 適度な逆方向の頑健性を持つモデルを学ぶのに有効であるが, ランダムな特徴は得られないことがわかった。
  論文  参考訳（メタデータ） (2022-04-26T15:49:33Z)
• Diagnosing Batch Normalization in Class Incremental Learning [39.70552266952221]
  バッチ正規化(BN)は中間特徴写像を標準化し、訓練安定性と収束性を改善するために広く検証されている。 分類バイアスを排除しつつ,より優れた特徴抽出器を訓練することにより,この問題に対処するBN Tricksを提案する。 BN Tricksが採用されているすべてのベースラインに大幅なパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-02-16T12:38:43Z)
• Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
  本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-25T05:51:03Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Understanding Structural Vulnerability in Graph Convolutional Networks [27.602802961213236]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造に対する敵攻撃に対して脆弱である。 構造逆例はGCNの非ロバストアグリゲーションスキームに起因していると考えられる。 その結果,GCN の構造的攻撃に対するロバスト性は著しく向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-08-13T15:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。