論文の概要: Enhancing Model Robustness By Incorporating Adversarial Knowledge Into
Semantic Representation
- arxiv url: http://arxiv.org/abs/2102.11584v1
- Date: Tue, 23 Feb 2021 09:47:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-24 14:01:35.902395
- Title: Enhancing Model Robustness By Incorporating Adversarial Knowledge Into
Semantic Representation
- Title(参考訳): 意味表現への敵対的知識の導入によるモデルロバストネスの強化
- Authors: Jinfeng Li, Tianyu Du, Xiangyu Liu, Rong Zhang, Hui Xue, Shouling Ji
- Abstract要約: AdvGraphは、中国ベースのNLPモデルの堅牢性を高める新しい防御です。
これは、入力の意味表現に逆の知識を組み込む。
- 参考スコア(独自算出の注目度): 42.23608639683468
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite that deep neural networks (DNNs) have achieved enormous success in
many domains like natural language processing (NLP), they have also been proven
to be vulnerable to maliciously generated adversarial examples. Such inherent
vulnerability has threatened various real-world deployed DNNs-based
applications. To strength the model robustness, several countermeasures have
been proposed in the English NLP domain and obtained satisfactory performance.
However, due to the unique language properties of Chinese, it is not trivial to
extend existing defenses to the Chinese domain. Therefore, we propose AdvGraph,
a novel defense which enhances the robustness of Chinese-based NLP models by
incorporating adversarial knowledge into the semantic representation of the
input. Extensive experiments on two real-world tasks show that AdvGraph
exhibits better performance compared with previous work: (i) effective - it
significantly strengthens the model robustness even under the adaptive attacks
setting without negative impact on model performance over legitimate input;
(ii) generic - its key component, i.e., the representation of connotative
adversarial knowledge is task-agnostic, which can be reused in any
Chinese-based NLP models without retraining; and (iii) efficient - it is a
light-weight defense with sub-linear computational complexity, which can
guarantee the efficiency required in practical scenarios.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は、自然言語処理(NLP)のような多くの分野で大きな成功を収めていますが、悪意のある敵対的な例に対して脆弱であることも証明されています。
このような固有の脆弱性は、様々な現実世界のDNNsベースのアプリケーションを脅かしている。
モデルロバスト性を高めるために、英語のNLPドメインでいくつかの対策が提案され、良好な性能を得た。
しかし、中国語の独特な言語特性から、既存の防衛を中国領に拡張することは自明ではない。
そこで我々は,入力の意味表現に敵対的知識を組み込むことにより,中国のNLPモデルのロバスト性を高める新しいディフェンスであるAdvGraphを提案する。
Extensive experiments on two real-world tasks show that AdvGraph exhibits better performance compared with previous work: (i) effective - it significantly strengthens the model robustness even under the adaptive attacks setting without negative impact on model performance over legitimate input; (ii) generic - its key component, i.e., the representation of connotative adversarial knowledge is task-agnostic, which can be reused in any Chinese-based NLP models without retraining; and (iii) efficient - it is a light-weight defense with sub-linear computational complexity, which can guarantee the efficiency required in practical scenarios.
関連論文リスト
- Partially Recentralization Softmax Loss for Vision-Language Models
Robustness [12.079952813850428]
事前学習したマルチモーダルモデルの損失関数を変更することで得られる対向的ロバスト性について検討する。
実験の結果、訓練済みモデルの微調整後、一般的な攻撃に対して、逆方向の頑健性を大幅に改善できることが判明した。
論文 参考訳(メタデータ) (2024-02-06T01:44:38Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-08-01T06:16:18Z) - Dynamic Transformers Provide a False Sense of Efficiency [75.39702559746533]
マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。
本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。
GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
論文 参考訳(メタデータ) (2023-05-20T16:41:48Z) - Improving Interpretability via Regularization of Neural Activation
Sensitivity [20.407987149443997]
最先端のディープニューラルネットワーク(DNN)は多くの現実世界のタスクに取り組むのに非常に効果的である。
彼らは敵対的な攻撃を受けやすく、その不透明さはユーザーのアウトプットに対する信頼を損なう。
ニューラルアクティベーション感度の正規化に基づくDNNの解釈性向上のための新しい手法を提案する。
論文 参考訳(メタデータ) (2022-11-16T05:40:29Z) - Improving Pre-trained Language Model Fine-tuning with Noise Stability
Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。
具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。
提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-12T04:42:49Z) - NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task
Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。
提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文 参考訳(メタデータ) (2021-08-29T06:58:28Z) - Evaluating the Robustness of Neural Language Models to Input
Perturbations [7.064032374579076]
本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。
本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。
その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
論文 参考訳(メタデータ) (2021-08-27T12:31:17Z) - Knowledge Enhanced Machine Learning Pipeline against Diverse Adversarial
Attacks [10.913817907524454]
ドメイン知識をグラフィカルモデルに統合するための知識強化機械学習パイプライン(KEMLP)を提案する。
特に,主DNNモデルとの論理的関係に基づいて,多様な弱補助モデルを統合することで,KEMLPを開発する。
KEMLPは, 対人訓練やその他のベースラインと比較して, 物理的攻撃に対する高い堅牢性, $mathcalL_p$境界攻撃, 予期せぬ攻撃, および自然汚職を実現する。
論文 参考訳(メタデータ) (2021-06-11T08:37:53Z) - Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood
Ensemble [163.3333439344695]
Dirichlet Neighborhood Ensemble (DNE) は、ロバストモデルを用いて置換攻撃を防御するランダムな平滑化手法である。
DNEは、単語とその同義語で区切られた凸殻から入力文中の各単語の埋め込みベクトルをサンプリングして仮想文を生成し、訓練データでそれらを増強する。
我々は,提案手法が最近提案した防衛手法を,異なるネットワークアーキテクチャと複数のデータセット間で有意差で一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2020-06-20T18:01:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。