論文の概要: Enhancing Model Robustness By Incorporating Adversarial Knowledge Into Semantic Representation

• arxiv url: http://arxiv.org/abs/2102.11584v1
• Date: Tue, 23 Feb 2021 09:47:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 14:01:35.902395
• Title: Enhancing Model Robustness By Incorporating Adversarial Knowledge Into Semantic Representation
• Title（参考訳）: 意味表現への敵対的知識の導入によるモデルロバストネスの強化
• Authors: Jinfeng Li, Tianyu Du, Xiangyu Liu, Rong Zhang, Hui Xue, Shouling Ji
• Abstract要約: AdvGraphは、中国ベースのNLPモデルの堅牢性を高める新しい防御です。 これは、入力の意味表現に逆の知識を組み込む。
• 参考スコア（独自算出の注目度）: 42.23608639683468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite that deep neural networks (DNNs) have achieved enormous success in many domains like natural language processing (NLP), they have also been proven to be vulnerable to maliciously generated adversarial examples. Such inherent vulnerability has threatened various real-world deployed DNNs-based applications. To strength the model robustness, several countermeasures have been proposed in the English NLP domain and obtained satisfactory performance. However, due to the unique language properties of Chinese, it is not trivial to extend existing defenses to the Chinese domain. Therefore, we propose AdvGraph, a novel defense which enhances the robustness of Chinese-based NLP models by incorporating adversarial knowledge into the semantic representation of the input. Extensive experiments on two real-world tasks show that AdvGraph exhibits better performance compared with previous work: (i) effective - it significantly strengthens the model robustness even under the adaptive attacks setting without negative impact on model performance over legitimate input; (ii) generic - its key component, i.e., the representation of connotative adversarial knowledge is task-agnostic, which can be reused in any Chinese-based NLP models without retraining; and (iii) efficient - it is a light-weight defense with sub-linear computational complexity, which can guarantee the efficiency required in practical scenarios.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、自然言語処理(NLP)のような多くの分野で大きな成功を収めていますが、悪意のある敵対的な例に対して脆弱であることも証明されています。 このような固有の脆弱性は、様々な現実世界のDNNsベースのアプリケーションを脅かしている。 モデルロバスト性を高めるために、英語のNLPドメインでいくつかの対策が提案され、良好な性能を得た。 しかし、中国語の独特な言語特性から、既存の防衛を中国領に拡張することは自明ではない。 そこで我々は,入力の意味表現に敵対的知識を組み込むことにより,中国のNLPモデルのロバスト性を高める新しいディフェンスであるAdvGraphを提案する。 Extensive experiments on two real-world tasks show that AdvGraph exhibits better performance compared with previous work: (i) effective - it significantly strengthens the model robustness even under the adaptive attacks setting without negative impact on model performance over legitimate input; (ii) generic - its key component, i.e., the representation of connotative adversarial knowledge is task-agnostic, which can be reused in any Chinese-based NLP models without retraining; and (iii) efficient - it is a light-weight defense with sub-linear computational complexity, which can guarantee the efficiency required in practical scenarios.

関連論文リスト

• Enhancing adversarial robustness in Natural Language Inference using explanations [41.46494686136601]
  自然言語推論(NLI)の未探索課題に注目点を当てた。 我々は、広範囲な実験を通じて、モデルに依存しない防衛戦略として、自然言語説明の使用を検証した。 本研究では,広範に使用されている言語生成指標と人間の知覚との相関について検討し,それらが堅牢なNLIモデルへのプロキシとして機能するようにした。
  論文  参考訳（メタデータ） (2024-09-11T17:09:49Z)
• Adversarial Attacks and Defense for Conversation Entailment Task [0.49157446832511503]
  大規模言語モデルは、低コストの敵攻撃に対して脆弱である。 我々は、仮説の真偽を正確に識別するために、変圧器モデルを微調整する。 モデルのロバスト性を高めるために,埋め込み摂動損失法を導入する。
  論文  参考訳（メタデータ） (2024-05-01T02:49:18Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Dynamic Transformers Provide a False Sense of Efficiency [75.39702559746533]
  マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。 本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。 GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
  論文  参考訳（メタデータ） (2023-05-20T16:41:48Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• AED: An black-box NLP classifier model attacker [8.15167980163668]
  Deep Neural Networks(DNN)は、コネクテッドおよび自動化された車両、疾患、雇用といった領域における現実世界のタスクの解決に成功している。 これらのDNNモデルの潜在的なバイアスと堅牢性に関する懸念が高まっている。 本稿では,単語レベルのNLP分類器攻撃モデル"AED"を提案する。
  論文  参考訳（メタデータ） (2021-12-22T04:25:23Z)
• Evaluating the Robustness of Neural Language Models to Input Perturbations [7.064032374579076]
  本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。 本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。 その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T12:31:17Z)
• Knowledge Enhanced Machine Learning Pipeline against Diverse Adversarial Attacks [10.913817907524454]
  ドメイン知識をグラフィカルモデルに統合するための知識強化機械学習パイプライン(KEMLP)を提案する。 特に,主DNNモデルとの論理的関係に基づいて,多様な弱補助モデルを統合することで,KEMLPを開発する。 KEMLPは, 対人訓練やその他のベースラインと比較して, 物理的攻撃に対する高い堅牢性, $mathcalL_p$境界攻撃, 予期せぬ攻撃, および自然汚職を実現する。
  論文  参考訳（メタデータ） (2021-06-11T08:37:53Z)
• Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood Ensemble [163.3333439344695]
  Dirichlet Neighborhood Ensemble (DNE) は、ロバストモデルを用いて置換攻撃を防御するランダムな平滑化手法である。 DNEは、単語とその同義語で区切られた凸殻から入力文中の各単語の埋め込みベクトルをサンプリングして仮想文を生成し、訓練データでそれらを増強する。 我々は,提案手法が最近提案した防衛手法を,異なるネットワークアーキテクチャと複数のデータセット間で有意差で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-20T18:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。