論文の概要: Robust Lottery Tickets for Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2211.03013v1
- Date: Sun, 6 Nov 2022 02:59:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 16:45:26.084255
- Title: Robust Lottery Tickets for Pre-trained Language Models
- Title(参考訳): 事前学習した言語モデルのためのロバスト抽選券
- Authors: Rui Zheng, Rong Bao, Yuhao Zhou, Di Liang, Sirui Wang, Wei Wu, Tao
Gui, Qi Zhang, Xuanjing Huang
- Abstract要約: 本稿では,従来の言語モデルに隠されたロバストなチケットを識別するために,二分重マスクの学習に基づく新しい手法を提案する。
実験結果から, 従来の対向ロバスト性評価法に比べて, 提案手法の大幅な改善が示された。
- 参考スコア(独自算出の注目度): 57.14316619360376
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent works on Lottery Ticket Hypothesis have shown that pre-trained
language models (PLMs) contain smaller matching subnetworks(winning tickets)
which are capable of reaching accuracy comparable to the original models.
However, these tickets are proved to be notrobust to adversarial examples, and
even worse than their PLM counterparts. To address this problem, we propose a
novel method based on learning binary weight masks to identify robust tickets
hidden in the original PLMs. Since the loss is not differentiable for the
binary mask, we assign the hard concrete distribution to the masks and
encourage their sparsity using a smoothing approximation of L0
regularization.Furthermore, we design an adversarial loss objective to guide
the search for robust tickets and ensure that the tickets perform well bothin
accuracy and robustness. Experimental results show the significant improvement
of the proposed method over previous work on adversarial robustness evaluation.
- Abstract(参考訳): Lottery Ticket仮説に関する最近の研究は、事前学習された言語モデル(PLM)が、元のモデルに匹敵する精度に達することのできる、より小さなマッチングサブネットワーク(勝利チケット)を含んでいることを示した。
しかし、これらのチケットは敵対的な例には不利であり、plmのチケットよりも悪いことが証明されている。
そこで本研究では,従来のPLMに隠されたロバストチケットを識別するために,二重マスクの学習に基づく新しい手法を提案する。
この損失は二項マスクでは識別できないため、マスクにハードコンクリート分布を割り当て、L0正規化のスムーズな近似を用いてそれらの空間性を奨励するが、一方で、ロバストなチケットの探索を誘導し、チケットの精度とロバストさを両立させるための対向損失目標を設計する。
実験の結果, 提案手法は, 先行研究である逆ロバスト性評価よりも有意な改善が得られた。
関連論文リスト
- Token-Level Adversarial Prompt Detection Based on Perplexity Measures
and Contextual Information [67.78183175605761]
大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。
この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。
トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-20T03:17:21Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-06T11:51:28Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳(メタデータ) (2022-03-08T18:06:26Z) - Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are
Found within Randomly Initialized Networks [13.863895853997091]
一般的な宝くじ券の仮説とは別として、元の密集ネットワークや特定されたRTTをトレーニングする必要はない。
同一の高密度ネットワークから引き出された疎度比の異なるRTT間の逆転送性について検討した。
本稿では,Random RST Switch (R2S) 技術を提案する。
論文 参考訳(メタデータ) (2021-10-26T22:52:56Z) - On Lottery Tickets and Minimal Task Representations in Deep
Reinforcement Learning [0.0]
政策蒸留と強化学習によって訓練されたフィードフォワードネットワークは、同一の間隔で切断可能であることを示す。
事前設計したベースライン条件を用いて,強化学習における抽選券効果の大部分がマスクによるものであることが分かった。
論文 参考訳(メタデータ) (2021-05-04T17:47:39Z) - ELECTRA: Pre-training Text Encoders as Discriminators Rather Than
Generators [108.3381301768299]
Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。
代用トークン検出という,より効率的な事前学習タスクを提案する。
論文 参考訳(メタデータ) (2020-03-23T21:17:42Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。