論文の概要: Robust Fine-tuning via Perturbation and Interpolation from In-batch Instances

• arxiv url: http://arxiv.org/abs/2205.00633v1
• Date: Mon, 2 May 2022 03:21:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 14:26:05.733552
• Title: Robust Fine-tuning via Perturbation and Interpolation from In-batch Instances
• Title（参考訳）: バッチ内インスタンスの摂動と補間によるロバスト微調整
• Authors: Shoujie Tong, Qingxiu Dong, Damai Dai, Yifan song, Tianyu Liu, Baobao Chang, Zhifang Sui
• Abstract要約: 下流タスクにおける微調整事前学習言語モデル(PLM)は、自然言語処理において一般的な実践となっている。 そこで我々は,PLMをより堅牢にするために,Match-Tuningと呼ばれるシンプルで効果的な微調整法を提案する。 GLUEベンチマークにおける様々なタスクの実験では、Match-Tuningはバニラの微調整を1.64ドルのスコアで一貫して上回っている。
• 参考スコア（独自算出の注目度）: 35.015606707957524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning pretrained language models (PLMs) on downstream tasks has become common practice in natural language processing. However, most of the PLMs are vulnerable, e.g., they are brittle under adversarial attacks or imbalanced data, which hinders the application of the PLMs on some downstream tasks, especially in safe-critical scenarios. In this paper, we propose a simple yet effective fine-tuning method called Match-Tuning to force the PLMs to be more robust. For each instance in a batch, we involve other instances in the same batch to interact with it. To be specific, regarding the instances with other labels as a perturbation, Match-Tuning makes the model more robust to noise at the beginning of training. While nearing the end, Match-Tuning focuses more on performing an interpolation among the instances with the same label for better generalization. Extensive experiments on various tasks in GLUE benchmark show that Match-Tuning consistently outperforms the vanilla fine-tuning by $1.64$ scores. Moreover, Match-Tuning exhibits remarkable robustness to adversarial attacks and data imbalance.
• Abstract（参考訳）: 下流タスクの微調整事前学習言語モデル(plm)は、自然言語処理において一般的である。 しかしながら、ほとんどのPLMは脆弱であり、例えば、敵対的攻撃や不均衡なデータの下では脆く、特に安全なシナリオにおいて、下流タスクへのPLMの適用を妨げる。 本稿では,plmをより強固にするために,match-tuningと呼ばれる簡易かつ効果的な微調整法を提案する。 バッチ内の各インスタンスに対して、同じバッチ内の他のインスタンスがそれを処理します。 具体的に言うと、他のラベルのインスタンスを摂動として、マッチチューニングにより、トレーニング開始時のノイズに対してより堅牢になる。 終盤に近づいている間に、Match-Tuningは、より良い一般化のために同じラベルを持つインスタンス間の補間をより重視する。 GLUEベンチマークにおける様々なタスクに関する大規模な実験により、Match-Tuningはバニラの微調整を1.64ドルのスコアで一貫して上回っていることが示されている。 さらに、マッチチューニングは、敵の攻撃やデータの不均衡に対して顕著な堅牢性を示す。

関連論文リスト

• TAIA: Large Language Models are Out-of-Distribution Data Learners [30.57872423927015]
  効果的な推論時間介入手法を提案する:全てのパラメータを訓練するが、注意のみで推論する(trainallInfAttn)。 trainallInfAttnは、ほとんどのシナリオで完全に調整されたモデルとベースモデルの両方と比較して、優れた改善を実現している。 trainallInfAttnのデータのミスマッチに対する高い耐性は、jailbreakのチューニングに耐性を持ち、一般的なデータを使った特別なタスクを強化する。
  論文  参考訳（メタデータ） (2024-05-30T15:57:19Z)
• Enabling Natural Zero-Shot Prompting on Encoder Models via Statement-Tuning [55.265138447400744]
  ステートメントチューニングは、有限文の集合として識別タスクをモデル化し、エンコーダモデルを訓練し、潜在的なステートメントを識別してラベルを決定するテクニックである。 その結果, ステートメント・チューニングは, パラメータが著しく少ない最先端のLCMと比較して, 競争性能が向上することを示した。 この研究は、いくつかの設計選択が少ショットとゼロショットの一般化に与える影響を調査し、ステートメントチューニングが控えめなトレーニングデータで高いパフォーマンスを達成できることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T14:05:03Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• Task-guided Disentangled Tuning for Pretrained Language Models [16.429787408467703]
  本稿では,事前学習型言語モデル(PLM)のためのタスク誘導型ディスタングル型チューニング(TDT)を提案する。 TDTは、タスク関連信号を絡み合った表現から切り離すことにより、表現の一般化を強化する。 GLUE と CLUE のベンチマークによる実験結果から,TDT は異なる PLM を用いた微調整よりも一貫した結果が得られた。
  論文  参考訳（メタデータ） (2022-03-22T03:11:39Z)
• NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better [98.5705258907774]
  訓練済み言語モデル(PLM)の微調整は、下流タスクの成功に不可欠である。 PLMは、事前訓練の信号に過度に適合する危険性があり、下流のタスクと事前訓練のタスクの間にはギャップがある。 NoisyTuneは、微調整前にPLMのパラメータにいくつかのノイズを加えることで、下流タスクにおけるPLMの微調整を支援する。
  論文  参考訳（メタデータ） (2022-02-24T11:08:02Z)
• CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of Pre-trained Language Models [59.49705076369856]
  プレトレーニング言語モデル(PLM)の微調整フェーズを改善するための新しいフレームワークを提案する。 大規模未ラベルコーパスから,タスクに対するドメインレベルおよびクラスレベルの意味的関連性に応じて,正および負のインスタンスを検索する。 次に、検索したラベル付きおよびオリジナルラベル付きの両方のインスタンスに対して、対照的な半教師付き学習を行い、PLMが重要なタスク関連セマンティックな特徴をキャプチャするのを助ける。
  論文  参考訳（メタデータ） (2021-02-07T09:27:26Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。