論文の概要: RoChBert: Towards Robust BERT Fine-tuning for Chinese

• arxiv url: http://arxiv.org/abs/2210.15944v1
• Date: Fri, 28 Oct 2022 07:08:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 16:08:13.215544
• Title: RoChBert: Towards Robust BERT Fine-tuning for Chinese
• Title（参考訳）: RoChBert:中国のロバストBERTファインチューニングを目指す
• Authors: Zihan Zhang, Jinfeng Li, Ning Shi, Bo Yuan, Xiangyu Liu, Rong Zhang, Hui Xue, Donghong Sun and Chao Zhang
• Abstract要約: RoChBERTは、よりロバストなBERTベースのモデルを構築するためのフレームワークである。 微調整中に、中国語の音声とグリフの特徴を事前訓練された表現に融合させる。
• 参考スコア（独自算出の注目度）: 31.573147796706223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite of the superb performance on a wide range of tasks, pre-trained language models (e.g., BERT) have been proved vulnerable to adversarial texts. In this paper, we present RoChBERT, a framework to build more Robust BERT-based models by utilizing a more comprehensive adversarial graph to fuse Chinese phonetic and glyph features into pre-trained representations during fine-tuning. Inspired by curriculum learning, we further propose to augment the training dataset with adversarial texts in combination with intermediate samples. Extensive experiments demonstrate that RoChBERT outperforms previous methods in significant ways: (i) robust -- RoChBERT greatly improves the model robustness without sacrificing accuracy on benign texts. Specifically, the defense lowers the success rates of unlimited and limited attacks by 59.43% and 39.33% respectively, while remaining accuracy of 93.30%; (ii) flexible -- RoChBERT can easily extend to various language models to solve different downstream tasks with excellent performance; and (iii) efficient -- RoChBERT can be directly applied to the fine-tuning stage without pre-training language model from scratch, and the proposed data augmentation method is also low-cost.
• Abstract（参考訳）: 幅広いタスクにおける最高のパフォーマンスにもかかわらず、事前訓練された言語モデル(例えばBERT)は敵のテキストに対して脆弱であることが証明されている。 本稿では,より包括的な逆グラフを用いて中国語音声とグリフの機能を事前学習した表現に融合し,より堅牢なbertベースのモデルを構築するためのフレームワークであるrochbertを提案する。 さらに, カリキュラム学習に着想を得て, 中間サンプルと組み合わせて, 逆テキストを用いた学習データセットの強化を提案する。 大規模な実験では、RoChBERTは以前の方法よりも大幅に優れていた。 (i) robust -- RoChBERTは、良質なテキストの精度を犠牲にすることなく、モデルロバスト性を大幅に改善する。 具体的には、防御は無制限攻撃と限定攻撃の成功率をそれぞれ59.43%、39.33%、精度を93.30%低下させる。 (ii)柔軟な-RoChBERTは、様々な言語モデルに容易に拡張でき、様々な下流タスクを優れたパフォーマンスで解決できます。 (iii)効率的な -- RoChBERTは、スクラッチから言語モデルを事前学習することなく、微調整段階に直接適用することができ、提案したデータ拡張手法も低コストである。

関連論文リスト

• RobustSentEmbed: Robust Sentence Embeddings Using Adversarial Self-Supervised Contrastive Learning [11.347789553984741]
  RobustSentEmbedは、テキスト表現タスクの堅牢性を改善するために設計された、自己教師型文埋め込みフレームワークである。 本フレームワークは,様々な敵攻撃の成功率を大幅に低下させ,BERTAttackの成功率をほぼ半分に削減する。
  論文  参考訳（メタデータ） (2024-03-17T04:29:45Z)
• A Curious Case of Searching for the Correlation between Training Data and Adversarial Robustness of Transformer Textual Models [11.938237087895649]
  既存の研究によると、微調整されたテキスト変換モデルは最先端の予測性能を実現するが、敵対的なテキスト摂動にも弱い。 本稿では,トレーニングデータとモデルロバスト性との間にも強い相関関係があることを証明したい。 様々な入力微調整コーパス特性を表す13の異なる特徴を抽出し,それらを用いて微調整モデルの対角的堅牢性を予測する。
  論文  参考訳（メタデータ） (2024-02-18T05:58:25Z)
• oBERTa: Improving Sparse Transfer Learning via improved initialization, distillation, and pruning regimes [82.99830498937729]
  oBERTaは自然言語処理のための使いやすい言語モデルのセットです。 NLPの実践者はモデル圧縮の専門知識なしで3.8倍から24.3倍の高速モデルを得ることができる。 代表的な7つのNLPタスクにおけるoBERTaの利用について検討する。
  論文  参考訳（メタデータ） (2023-03-30T01:37:19Z)
• DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing [117.41016786835452]
  本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。 ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。 そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
  論文  参考訳（メタデータ） (2021-11-18T06:48:00Z)
• BERT, mBERT, or BiBERT? A Study on Contextualized Embeddings for Neural Machine Translation [38.017030073108735]
  本稿では,バイリンガル事前学習型言語モデル(BiBERT)が最先端の翻訳性能を実現することを示す。 我々の最良のモデルは、IWSLT'14データセットでは30.45点、IWSLT'14データセットでは38.61点、WMT'14データセットでは31.26点、WMT'14データセットでは34.94点である。
  論文  参考訳（メタデータ） (2021-09-09T23:43:41Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Non-Autoregressive Text Generation with Pre-trained Language Models [40.50508206201288]
  BERTはNAGモデルのバックボーンとして利用でき、性能を大幅に向上できることを示す。 バニラNAGモデルの2つの共通問題を緩和するメカニズムを考案する。 本稿では,出力長を事前に推定できる新しいデコード戦略である ratio-first を提案する。
  論文  参考訳（メタデータ） (2021-02-16T15:30:33Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。