Fugu-MT 論文翻訳(概要): MockingBERT: A Method for Retroactively Adding Resilience to NLP Models

論文の概要: MockingBERT: A Method for Retroactively Adding Resilience to NLP Models

arxiv url: http://arxiv.org/abs/2208.09915v1
Date: Sun, 21 Aug 2022 16:02:01 GMT
ステータス: 処理完了
システム内更新日: 2022-08-23 13:06:11.093685
Title: MockingBERT: A Method for Retroactively Adding Resilience to NLP Models
Title（参考訳）: MockingBERT: NLPモデルにレジリエンスを反復的に付加する方法
Authors: Jan Jezabek and Akash Singh
Abstract要約: そこで本稿では,トランスフォーマーベースNLPモデルに再帰的にレジリエンスを付加する手法を提案する。これは、元のNLPモデルのトレーニングを必要とせずに実現できる。また,逆方向のミススペルを生成する手法を提案する。
参考スコア（独自算出の注目度）: 4.584774276587428
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Protecting NLP models against misspellings whether accidental or adversarial has been the object of research interest for the past few years. Existing remediations have typically either compromised accuracy or required full model re-training with each new class of attacks. We propose a novel method of retroactively adding resilience to misspellings to transformer-based NLP models. This robustness can be achieved without the need for re-training of the original NLP model and with only a minimal loss of language understanding performance on inputs without misspellings. Additionally we propose a new efficient approximate method of generating adversarial misspellings, which significantly reduces the cost needed to evaluate a model's resilience to adversarial attacks.
Abstract（参考訳）: 事故か敵かのミススペルからNLPモデルを保護することが、過去数年間の研究の関心の対象となっている。既存の修復は、通常、精度を損なうか、新しいタイプの攻撃ごとに完全なモデルの再訓練を必要とする。そこで本稿では,トランスフォーマーベースNLPモデルに再帰的にレジリエンスを付加する手法を提案する。この堅牢性は、元のNLPモデルの再トレーニングを必要とせず、ミススペルなしで入力に対する言語理解性能を最小限に抑えることができる。さらに,攻撃に対するモデルのレジリエンスを評価するのに要するコストを大幅に削減する,敵対的ミススペルを生成する新しい効率的な近似手法を提案する。

関連論文リスト

PromptFix: Few-shot Backdoor Removal via Adversarial Prompt Tuning [28.845915332201592]
事前訓練された言語モデル(PLM)は、この数年間、その非並列なパフォーマンスで大きな注目を集めてきた。 PLMを訓練するコストの上昇と、その驚くべき一般化性は、数発の微調整とプロンプトに共同で貢献している。しかし、既存の研究では、これらのNLPモデルは、トリガートークンが提示されたときにモデル挙動が操作されるように、バックドア化可能であることが示されている。本稿では,NLPモデルのバックドア緩和戦略であるPromptFixを提案する。
論文参考訳（メタデータ） (2024-06-06T20:06:42Z)
Feature Separation and Recalibration for Adversarial Robustness [18.975320671203132]
本稿では,特徴分離と再校正という手法を提案する。分離と再校正を通じて、より堅牢な機能マップのために、悪意のある非不正なアクティベーションを再校正する。これにより、計算オーバーヘッドが小さいため、既存の敵の訓練手法の堅牢性は最大8.57%向上する。
論文参考訳（メタデータ） (2023-03-24T07:43:57Z)
Model-tuning Via Prompts Makes NLP Models Adversarially Robust [97.02353907677703]
Model-tuning Via Prompts (MVP) による対向的ロバスト性の評価 MVPは、標準的な方法よりも平均8%の性能向上を実現している。また,これらの利得の基盤となるメカニズムの解明も行なっている。
論文参考訳（メタデータ） (2023-03-13T17:41:57Z)
In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
論文参考訳（メタデータ） (2022-12-20T14:06:50Z)
A Prompting-based Approach for Adversarial Example Generation and Robustness Enhancement [18.532308729844598]
我々は,NLPモデルに侵入する新たなプロンプトベースの敵攻撃を提案する。悪質な目的によってマスク・アンド・フィリングによって敵の例を生成する。本手法は, 逆方向のサンプルを生成するのではなく, 大規模トレーニングセットに効率的に適用することができる。
論文参考訳（メタデータ） (2022-03-21T03:21:32Z)
Measuring and Reducing Model Update Regression in Structured Prediction for NLP [31.86240946966003]
後方互換性は、新しいモデルが前者によって正しく処理されたケースに回帰しないことを要求する。本研究は、構造化予測タスクにおける更新回帰をモデル化する。本稿では,構造化出力の特性を考慮し,単純かつ効果的なバックワード・コングルエント・リグレード(BCR)を提案する。
論文参考訳（メタデータ） (2022-02-07T07:04:54Z)
How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2021-12-22T05:04:41Z)
NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文参考訳（メタデータ） (2021-08-29T06:58:28Z)
Cold-start Active Learning through Self-supervised Language Modeling [15.551710499866239]
アクティブラーニングは、ラベルに最も重要な例を選択することで、アノテーションのコストを削減することを目的としている。 BERTでは、マスク付き言語モデリング損失に基づく単純な戦略を開発する。他のベースラインと比較して,本手法はより少ないサンプリングイテレーションと時間で精度が高い。
論文参考訳（メタデータ） (2020-10-19T14:09:17Z)
Adversarial Attack and Defense of Structured Prediction Models [58.49290114755019]
本論文では,NLPにおける構造化予測タスクに対する攻撃と防御について検討する。構造化予測モデルの構造化出力は、入力中の小さな摂動に敏感である。本稿では,シーケンス・ツー・シーケンス・モデルを用いて,構造化予測モデルへの攻撃を学習する,新規で統一的なフレームワークを提案する。
論文参考訳（メタデータ） (2020-10-04T15:54:03Z)
Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。