論文の概要: Robust Text Classification: Analyzing Prototype-Based Networks

• arxiv url: http://arxiv.org/abs/2311.06647v3
• Date: Mon, 28 Oct 2024 01:35:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:14:53.456046
• Title: Robust Text Classification: Analyzing Prototype-Based Networks
• Title（参考訳）: ロバストテキスト分類:プロトタイプベースネットワークの解析
• Authors: Zhivar Sourati, Darshan Deshpande, Filip Ilievski, Kiril Gashteovski, Sascha Saralajew,
• Abstract要約: PBN(Prototype-Based Networks)は、コンピュータビジョンタスクのノイズに対して堅牢であることが示されている。 本研究では, PBN がテキスト分類タスクに変換するロバスト性について, ターゲットとスタティックの両方の攻撃条件下で検討する。 PBNsの解釈性はPBNsの強靭性の性質を理解するのにどのように役立つかを示す。
• 参考スコア（独自算出の注目度）: 12.247144383314177
• License:
• Abstract: Downstream applications often require text classification models to be accurate and robust. While the accuracy of the state-of-the-art Language Models (LMs) approximates human performance, they often exhibit a drop in performance on noisy data found in the real world. This lack of robustness can be concerning, as even small perturbations in the text, irrelevant to the target task, can cause classifiers to incorrectly change their predictions. A potential solution can be the family of Prototype-Based Networks (PBNs) that classifies examples based on their similarity to prototypical examples of a class (prototypes) and has been shown to be robust to noise for computer vision tasks. In this paper, we study whether the robustness properties of PBNs transfer to text classification tasks under both targeted and static adversarial attack settings. Our results show that PBNs, as a mere architectural variation of vanilla LMs, offer more robustness compared to vanilla LMs under both targeted and static settings. We showcase how PBNs' interpretability can help us to understand PBNs' robustness properties. Finally, our ablation studies reveal the sensitivity of PBNs' robustness to how strictly clustering is done in the training phase, as tighter clustering results in less robust PBNs.
• Abstract（参考訳）: 下流のアプリケーションは、正確で堅牢なテキスト分類モデルを必要とすることが多い。 最先端の言語モデル(LM)の精度は人間のパフォーマンスを近似するが、実世界で見つかったノイズの多いデータに対する性能の低下を示すことが多い。 この堅牢性の欠如は、テキスト内の小さな摂動でさえ、目的のタスクとは無関係に、分類器が誤って予測を変更してしまう可能性があるため、問題となる。 潜在的な解決策は、クラス(プロトタイプ)の原型的な例と類似性に基づいて例を分類するPBN(Prototype-Based Networks)ファミリーであり、コンピュータビジョンタスクのノイズに対して堅牢であることが示されている。 本稿では,PBNがテキスト分類タスクに変換するロバスト性について,ターゲットと静的の両方の攻撃条件下で検討する。 以上の結果から,PBNsは,ターゲット設定と静的設定の両方において,バニラLMのアーキテクチャ上のバリエーションとして,バニラLMよりもロバスト性が高いことがわかった。 PBNsの解釈性はPBNsの強靭性の性質を理解するのにどう役立つかを示す。 最後に,より厳密なクラスタリングによってPBNがより堅牢になるため,トレーニング段階でのクラスタリングの厳密さに対するPBNの頑健さの感度を明らかにする。

関連論文リスト

• B-cosification: Transforming Deep Neural Networks to be Inherently Interpretable [53.848005910548565]
  B-コシフィケーション(B-cosification)は、既存の訓練済みモデルを本質的に解釈可能なものにするための新しいアプローチである。 B-コシフィケーションは、解釈可能性の観点から、スクラッチから訓練されたB-コシフィケーションモデルに匹敵するモデルが得られる。
  論文  参考訳（メタデータ） (2024-11-01T16:28:11Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Contrastive variational information bottleneck for aspect-based sentiment analysis [36.83876224466177]
  CVIB(Contrastive Variational Information Bottleneck)フレームワークを用いて,アスペクトベース感情分析(ABSA)の素早い相関性を低減することを提案する。 提案するCVIBフレームワークは,元のネットワークと自走ネットワークで構成され,これら2つのネットワークは,コントラスト学習によって同時に最適化される。 提案手法は, 全体的な予測性能, 堅牢性, 一般化の点で, 強力な競合相手よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-03-06T02:52:37Z)
• Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness [15.395021925719817]
  バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。 BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。 本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T16:16:24Z)
• On Fragile Features and Batch Normalization in Adversarial Training [83.25056150489446]
  対人訓練におけるバッチ正規化(BN)の役割について検討する。 BNは、堅牢な特徴を学ぶためのデファクト標準である敵の訓練で使用される。 この結果から, 脆弱な特徴は, 適度な逆方向の頑健性を持つモデルを学ぶのに有効であるが, ランダムな特徴は得られないことがわかった。
  論文  参考訳（メタデータ） (2022-04-26T15:49:33Z)
• Diagnosing Batch Normalization in Class Incremental Learning [39.70552266952221]
  バッチ正規化(BN)は中間特徴写像を標準化し、訓練安定性と収束性を改善するために広く検証されている。 分類バイアスを排除しつつ,より優れた特徴抽出器を訓練することにより,この問題に対処するBN Tricksを提案する。 BN Tricksが採用されているすべてのベースラインに大幅なパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-02-16T12:38:43Z)
• Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
  本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-25T05:51:03Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Understanding Structural Vulnerability in Graph Convolutional Networks [27.602802961213236]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造に対する敵攻撃に対して脆弱である。 構造逆例はGCNの非ロバストアグリゲーションスキームに起因していると考えられる。 その結果,GCN の構造的攻撃に対するロバスト性は著しく向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-08-13T15:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。