論文の概要: MAT: Mixed-Strategy Game of Adversarial Training in Fine-tuning

• arxiv url: http://arxiv.org/abs/2306.15826v1
• Date: Tue, 27 Jun 2023 23:19:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 16:26:03.587005
• Title: MAT: Mixed-Strategy Game of Adversarial Training in Fine-tuning
• Title（参考訳）: MAT:ファインチューニングにおける対戦訓練の混合戦略ゲーム
• Authors: Zhehua Zhong, Tianyi Chen, Zhen Wang
• Abstract要約: そこで本研究では,対戦型学習のためのMixed-Strategy Adrial Training Algorithm (MAT)を提案する。 MAT は、GLUE と ANLI のベンチマークにおいて、一般化と堅牢性の観点から、最先端の手法よりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 20.167933675945324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large-scale pre-trained language models has been demonstrated effective for various natural language processing (NLP) tasks. Previous studies have established that incorporating adversarial training during the fine-tuning stage can significantly enhance model generalization and robustness. However, from the perspective of game theory, such utilizations of adversarial training correspond to pure-strategy games, which are inherently limited in terms of the scope of their strategies, thereby still having room for improvement. In order to push the performance boundaries, we propose a novel Mixed-strategy Adversarial Training algorithm (MAT). Methodologically, we derive the Nash equilibrium of a mixed-strategy game for adversarial training using Entropy Mirror Descent to establish MAT by sampling method. To verify the effectiveness of MAT, we conducted extensive benchmark experiments on large-scale pre-trained models, such as BERT and RoBERTa. MAT significantly outperforms the state-of-the-art methods on both the GLUE and ANLI benchmarks in terms of generalization and robustness.
• Abstract（参考訳）: 様々な自然言語処理 (NLP) タスクに対して, 微調整による大規模事前学習言語モデルの有効性が実証されている。 従来の研究では、微調整段階の逆行訓練を取り入れることで、モデルの一般化と堅牢性を大幅に向上させることができることが確認されている。 しかし、ゲーム理論の見地からすると、このような敵対的訓練の活用は、戦略の範囲内で本質的に制限された純粋戦略ゲームに相当するため、改善の余地がある。 性能境界を推し進めるため、我々は新しいMixed-Strategy Adversarial Training Algorithm (MAT)を提案する。 提案手法は,エントロピーミラーDescent を用いた対戦訓練用混合ストラテジーゲームのナッシュ平衡を導出し,サンプリング法により MAT を確立する。 MATの有効性を検証するため,BERTやRoBERTaといった大規模事前学習モデルのベンチマーク実験を行った。 MAT は、GLUE と ANLI のベンチマークにおいて、一般化と堅牢性の観点から、最先端の手法よりも大幅に優れている。

関連論文リスト

• Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
  本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。 PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。 実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-01T07:49:11Z)
• Unleashing the Power of Meta-tuning for Few-shot Generalization Through Sparse Interpolated Experts [33.58165081033569]
  Sparse MetA-Tuning (SMAT) はスパース・ミックス・オブ・エキスパート・アプローチにインスパイアされた手法である。 SMATはOOD感度を克服し、ビジョンファウンデーションモデルの転送能力を高めることを約束する。
  論文  参考訳（メタデータ） (2024-03-13T12:46:03Z)
• PIAT: Parameter Interpolation based Adversarial Training for Image Classification [19.276850361815953]
  補間ベース・アドバイザリアル・トレーニング(PIAT)と呼ばれる新しいフレームワークを提案し,トレーニング中に過去の情報をフル活用する。 我々のフレームワークは汎用的であり、他の敵の訓練手法と組み合わせることで、より堅牢な精度を高めることができる。
  論文  参考訳（メタデータ） (2023-03-24T12:22:34Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。