論文の概要: RoAST: Robustifying Language Models via Adversarial Perturbation with
Selective Training
- arxiv url: http://arxiv.org/abs/2312.04032v1
- Date: Thu, 7 Dec 2023 04:23:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 16:19:39.962802
- Title: RoAST: Robustifying Language Models via Adversarial Perturbation with
Selective Training
- Title(参考訳): RoAST:選択学習による逆摂動によるロバスト化言語モデル
- Authors: Jaehyung Kim, Yuning Mao, Rui Hou, Hanchao Yu, Davis Liang, Pascale
Fung, Qifan Wang, Fuli Feng, Lifu Huang, Madian Khabsa
- Abstract要約: 選択的トレーニング(RoAST)を用いた逆方向摂動を用いたロバスト化法を提案する。
RoASTは、モデルの堅牢性、摂動入力に対する堅牢性、および事前訓練されたLMにおける一般化可能な知識の2つの重要な情報源を組み込んでいる。
6種類のLM上での最先端の微調整法と比較して,RoASTの有効性を実証した。
- 参考スコア(独自算出の注目度): 105.02614392553198
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Fine-tuning pre-trained language models (LMs) has become the de facto
standard in many NLP tasks. Nevertheless, fine-tuned LMs are still prone to
robustness issues, such as adversarial robustness and model calibration.
Several perspectives of robustness for LMs have been studied independently, but
lacking a unified consideration in multiple perspectives. In this paper, we
propose Robustifying LMs via Adversarial perturbation with Selective Training
(RoAST), a simple yet effective fine-tuning technique to enhance the
multi-perspective robustness of LMs in a unified way. RoAST effectively
incorporates two important sources for the model robustness, robustness on the
perturbed inputs and generalizable knowledge in pre-trained LMs. To be
specific, RoAST introduces adversarial perturbation during fine-tuning while
the model parameters are selectively updated upon their relative importance to
minimize unnecessary deviation. Under a unified evaluation of fine-tuned LMs by
incorporating four representative perspectives of model robustness, we
demonstrate the effectiveness of RoAST compared to state-of-the-art fine-tuning
methods on six different types of LMs, which indicates its usefulness in
practice.
- Abstract(参考訳): 微調整事前学習言語モデル(LM)は多くのNLPタスクにおいてデファクトスタンダードとなっている。
それでも、微調整されたlmmは、逆ロバスト性やモデルキャリブレーションといったロバスト性の問題を起こしやすい。
LMのロバスト性に関するいくつかの視点は独立に研究されているが、複数の視点において統一された考察は欠如している。
本稿では,lmsのマルチパースペクティブなロバスト性を高めるための簡易かつ効果的な微調整手法であるroast(selective training)を用いて,逆摂動によるlmsのロバスト化を提案する。
RoASTは、モデルの堅牢性、摂動入力に対する堅牢性、および事前訓練されたLMにおける一般化可能な知識の2つの重要な源を効果的に組み込んでいる。
具体的には、RoASTは微調整中に逆方向の摂動を導入し、モデルパラメータは相対的重要性に応じて選択的に更新され、不要な偏差を最小限に抑える。
モデルロバスト性の4つの代表的視点を取り入れた微調整型LMの統一評価において,6種類のLM上での最先端の微調整法と比較して,RoASTの有効性を示す。
関連論文リスト
- STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient
Fine-Tuning of Large Language Models [23.956842699977795]
我々は不確実性に基づくアクティブラーニングとLoRAを統合する新しい手法を提案する。
不確実性ギャップについて、ベースモデルの不確実性とフルモデルの不確実性を組み合わせた動的不確実性測定を導入する。
モデルのキャリブレーションが不十分な場合、LoRAトレーニング中に正規化手法を導入し、モデルが過度に信頼されないようにする。
論文 参考訳(メタデータ) (2024-03-02T10:38:10Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Initialization Matters for Adversarial Transfer Learning [65.58440557481316]
トランスファーラーニングにおけるプレトレイン・フィネチングのパラダイムの普及に伴い、下流タスクのロバスト性は重要な問題となっている。
直交線形探索により得られる重みで線形頭部を初期化する対向微調整のためのロバスト線形初期化(RoLI)を提案する。
5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
論文 参考訳(メタデータ) (2023-12-10T00:51:05Z) - Mind's Mirror: Distilling Self-Evaluation Capability and Comprehensive
Thinking from Large Language Models [21.052917741772042]
大規模言語モデル (LLM) は自然言語処理の分野で顕著な進歩を遂げている。
これらのモデルの厳密なスケールと計算要求は、資源制約のある文脈での実践的な展開を考えると、非常に困難な課題を示す。
LLMに固有の自己評価能力を小型言語モデル(SLM)に蒸留する方法を提案する。
本手法は, 蒸留したSLMの性能を著しく向上させ, 人間の認知と密に整合したより小さなモデル開発への道に光を当てる。
論文 参考訳(メタデータ) (2023-11-15T18:56:23Z) - Multi-Set Inoculation: Assessing Model Robustness Across Multiple
Challenge Sets [48.94926373895036]
本稿では,入力摂動が異なるスケールの言語モデルに与える影響を研究する枠組みを提案する。
一方の摂動への曝露が他の摂動に対するモデルの性能を向上させるか、劣化させるかを検討する。
提案手法は,与えられたデータセットの精度を損なうことなく,異なる摂動に頑健にモデルを訓練することを示す。
論文 参考訳(メタデータ) (2023-11-15T02:59:10Z) - How Good Are Large Language Models at Out-of-Distribution Detection? [14.15192908716396]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)モデルの信頼性を高める上で重要な役割を果たす。
本稿では,大規模言語モデル(LLM)の領域におけるOOD検出の先駆的実証研究について述べる。
我々は,一般用OOD検出器を徹底的に評価し,ゼログレードおよび微調整のシナリオにおいて,その性能を精査した。
論文 参考訳(メタデータ) (2023-08-20T13:15:18Z) - Analyzing Modality Robustness in Multimodal Sentiment Analysis [48.52878002917685]
堅牢なマルチモーダルモデルの構築は、荒野における信頼性の高いデプロイメントを実現する上で極めて重要です。
訓練されたマルチモーダルモデルにおけるモダリティロバストネスの簡易診断チェックを提案する。
問題を軽減するために、よく知られた堅牢なトレーニング戦略を分析します。
論文 参考訳(メタデータ) (2022-05-30T23:30:16Z) - NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task
Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。
提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文 参考訳(メタデータ) (2021-08-29T06:58:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。