論文の概要: Virtual Data Augmentation: A Robust and General Framework for Fine-tuning Pre-trained Models

• arxiv url: http://arxiv.org/abs/2109.05793v1
• Date: Mon, 13 Sep 2021 09:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:45:34.905288
• Title: Virtual Data Augmentation: A Robust and General Framework for Fine-tuning Pre-trained Models
• Title（参考訳）: 仮想データ拡張 - 微調整事前訓練モデルのためのロバストで汎用的なフレームワーク
• Authors: Kun Zhou, Wayne Xin Zhao, Sirui Wang, Fuzheng Zhang, Wei Wu and Ji-Rong Wen
• Abstract要約: 強力な事前訓練型言語モデル(PLM)は、小さな摂動や意図的な攻撃によって騙されることがある。 VDA(Virtual Data Augmentation)は,PLMを高度に微調整するための一般的なフレームワークである。 本手法は, PLMの堅牢性を向上し, 敵攻撃時の性能劣化を軽減する。
• 参考スコア（独自算出の注目度）: 51.46732511844122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have shown that powerful pre-trained language models (PLM) can be fooled by small perturbations or intentional attacks. To solve this issue, various data augmentation techniques are proposed to improve the robustness of PLMs. However, it is still challenging to augment semantically relevant examples with sufficient diversity. In this work, we present Virtual Data Augmentation (VDA), a general framework for robustly fine-tuning PLMs. Based on the original token embeddings, we construct a multinomial mixture for augmenting virtual data embeddings, where a masked language model guarantees the semantic relevance and the Gaussian noise provides the augmentation diversity. Furthermore, a regularized training strategy is proposed to balance the two aspects. Extensive experiments on six datasets show that our approach is able to improve the robustness of PLMs and alleviate the performance degradation under adversarial attacks. Our codes and data are publicly available at \textcolor{blue}{\url{https://github.com/RUCAIBox/VDA}}.
• Abstract（参考訳）: 近年の研究では、強力な事前学習言語モデル(plm)が小さな摂動や意図的な攻撃によって騙されることが示されている。 この問題を解決するために, PLMのロバスト性を改善するために, 様々なデータ拡張手法を提案する。 しかし、十分な多様性で意味論的に関係のある例を増やすことは依然として困難である。 本稿では,高精細PLMのための汎用フレームワークであるVirtual Data Augmentation(VDA)を提案する。 そこで,マスク付き言語モデルにより意味的関連性が保証され,ガウス雑音が拡張多様性を提供する。 さらに,両側面のバランスをとるための規則化トレーニング戦略を提案する。 6つのデータセットを広範囲に実験した結果,本手法はplmのロバスト性を改善し,攻撃時の性能低下を軽減できることがわかった。 私たちのコードとデータは、 \textcolor{blue}{\url{https://github.com/RUCAIBox/VDA}}で公開されています。

関連論文リスト

• MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
  ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。 トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。 本稿では,多目的特徴表現学習手法であるMORELを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:05:03Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• DiffClass: Diffusion-Based Class Incremental Learning [30.514281721324853]
  クラスインクリメンタルラーニング(CIL)は破滅的な忘れが原因で困難である。 最近の例のないCIL手法は、過去のタスクデータを合成することによって破滅的な忘れを軽減しようとする。 そこで本研究では,これらの問題を克服するために,新しい非定型CIL法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T03:34:18Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
  本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。 画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
  論文  参考訳（メタデータ） (2023-04-26T10:36:40Z)
• Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
  変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。