論文の概要: CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2107.00440v1
• Date: Thu, 1 Jul 2021 13:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 14:00:53.866498
• Title: CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding
• Title（参考訳）: cline:自然言語理解のための意味的否定的な例による対比学習
• Authors: Dong Wang, Ning Ding, Piji Li, Hai-Tao Zheng
• Abstract要約: 本稿では,事前学習した言語モデルの堅牢性を改善するために,セマントIc負例を用いたコントラスト学習を提案する。 CLINEは、意味論的敵対攻撃下での堅牢性を改善するために、教師なしの意味論的ネガティブな例を構築している。 実験結果から,本手法は感情分析,推論,読解作業において大幅な改善をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 35.003401250150034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite pre-trained language models have proven useful for learning high-quality semantic representations, these models are still vulnerable to simple perturbations. Recent works aimed to improve the robustness of pre-trained models mainly focus on adversarial training from perturbed examples with similar semantics, neglecting the utilization of different or even opposite semantics. Different from the image processing field, the text is discrete and few word substitutions can cause significant semantic changes. To study the impact of semantics caused by small perturbations, we conduct a series of pilot experiments and surprisingly find that adversarial training is useless or even harmful for the model to detect these semantic changes. To address this problem, we propose Contrastive Learning with semantIc Negative Examples (CLINE), which constructs semantic negative examples unsupervised to improve the robustness under semantically adversarial attacking. By comparing with similar and opposite semantic examples, the model can effectively perceive the semantic changes caused by small perturbations. Empirical results show that our approach yields substantial improvements on a range of sentiment analysis, reasoning, and reading comprehension tasks. And CLINE also ensures the compactness within the same semantics and separability across different semantics in sentence-level.
• Abstract（参考訳）: 事前訓練された言語モデルは高品質なセマンティック表現を学習するのに有用であることが証明されているが、これらのモデルは依然として単純な摂動に対して脆弱である。 最近の研究は、事前学習されたモデルのロバスト性を改善することを目的としており、主に、異なる意味論や反対意味論の利用を怠りながら、混乱した例から敵対的なトレーニングに焦点を当てている。 画像処理の分野と異なり、テキストは離散的であり、単語置換が少ないと意味的な大きな変化が生じる。 小さな摂動によるセマンティクスの影響を調べるために、一連のパイロット実験を行い、そのセマンティクス変化を検出するモデルにとって、敵対的なトレーニングは役に立たないこと、あるいは有害であることを発見した。 この問題に対処するために,本研究では,意味的否定的例を教師なしで構築する意味的否定的例を用いたコントラスト学習を提案する。 類似した意味的例と反対の例を比較することで、モデルは小さな摂動によって引き起こされる意味的変化を効果的に知覚することができる。 実験結果から,本手法は感情分析,推論,読解作業において大幅な改善をもたらすことが示された。 また、CLINEは、文レベルでの異なる意味論における同じ意味論と分離性内のコンパクト性を保証する。

関連論文リスト

• Transcending Adversarial Perturbations: Manifold-Aided Adversarial Examples with Legitimate Semantics [10.058463432437659]
  ディープニューラルネットワークは、悪意のある小さな摂動によって操作される敵の例に対して、極めて脆弱であった。 本稿では, 現実的, 合法的意味論による敵対的事例を生成するために, 教師付き意味変換生成モデルを提案する。 MNISTおよび産業用欠陥データセットを用いた実験により、我々の敵の例は、より良い視覚的品質を示しただけでなく、優れた攻撃伝達性を示した。
  論文  参考訳（メタデータ） (2024-02-05T15:25:40Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• Improving Adversarial Robustness to Sensitivity and Invariance Attacks with Deep Metric Learning [80.21709045433096]
  対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。 距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。 予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
  論文  参考訳（メタデータ） (2022-11-04T13:54:02Z)
• Balanced Adversarial Training: Balancing Tradeoffs between Fickleness and Obstinacy in NLP Models [21.06607915149245]
  本研究は, 標準的な対人訓練手法により, ファックル対人例に対してより脆弱なモデルが得られることを示す。 本研究では, 対外学習を取り入れて, 対外的対外的対外的対外的対外的対外的対外的対外的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対
  論文  参考訳（メタデータ） (2022-10-20T18:02:07Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Detecting Word Sense Disambiguation Biases in Machine Translation for Model-Agnostic Adversarial Attacks [84.61578555312288]
  本稿では,統計的データ特性に基づく曖昧な誤りの予測手法を提案する。 我々は,曖昧な誤りを生じさせるため,文の摂動を最小限に抑える,単純な敵攻撃戦略を開発する。 以上の結果から,曖昧さの堅牢性はドメイン間で大きく異なり,同一データ上でトレーニングされた異なるモデルが異なる攻撃に対して脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2020-11-03T17:01:44Z)
• Semantics-Preserving Adversarial Training [12.242659601882147]
  逆行訓練は、訓練データに逆行例を含めることで、ディープニューラルネットワーク(DNN)の逆行性を改善する技術である。 本研究では,すべてのクラスで共有される画素の摂動を促すセマンティックス保存逆行訓練(SPAT)を提案する。 実験の結果,SPATは対向ロバスト性を向上し,CIFAR-10およびCIFAR-100の最先端結果を達成することがわかった。
  論文  参考訳（メタデータ） (2020-09-23T07:42:14Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations [65.05561023880351]
  敵の例は誤分類を引き起こすために作られた悪意のある入力である。 本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。 感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
  論文  参考訳（メタデータ） (2020-02-11T18:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。