論文の概要: GAT: Guided Adversarial Training with Pareto-optimal Auxiliary Tasks

• arxiv url: http://arxiv.org/abs/2302.02907v1
• Date: Mon, 6 Feb 2023 16:23:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 16:00:18.289708
• Title: GAT: Guided Adversarial Training with Pareto-optimal Auxiliary Tasks
• Title（参考訳）: GAT: Pareto-optimal Auxiliary Tasks を用いた指導的対人訓練
• Authors: Salah Ghamizi, Jingfeng Zhang, Maxime Cordy, Mike Papadakis, Masashi Sugiyama, and Yves Le Traon
• Abstract要約: 我々は,限られた訓練データの下で補助的なタスクを利用する新しい対人訓練手法である TextitGuided Adversarial Training (GAT) を提案する。 限られたデータの下では、GATはCIFAR-10の堅牢な精度を最大4倍に向上させる。 CIFAR-10の全データセットでは、GATは8つの最先端の対人訓練戦略を上回っている。
• 参考スコア（独自算出の注目度）: 73.88590165742721
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While leveraging additional training data is well established to improve adversarial robustness, it incurs the unavoidable cost of data collection and the heavy computation to train models. To mitigate the costs, we propose \textit{Guided Adversarial Training } (GAT), a novel adversarial training technique that exploits auxiliary tasks under a limited set of training data. Our approach extends single-task models into multi-task models during the min-max optimization of adversarial training, and drives the loss optimization with a regularization of the gradient curvature across multiple tasks. GAT leverages two types of auxiliary tasks: self-supervised tasks, where the labels are generated automatically, and domain-knowledge tasks, where human experts provide additional labels. Experimentally, under limited data, GAT increases the robust accuracy on CIFAR-10 up to four times (from 11% to 42% robust accuracy) and the robust AUC of CheXpert medical imaging dataset from 50\% to 83\%. On the full CIFAR-10 dataset, GAT outperforms eight state-of-the-art adversarial training strategies. Our large study across five datasets and six tasks demonstrates that task augmentation is an efficient alternative to data augmentation, and can be key to achieving both clean and robust performances.
• Abstract（参考訳）: 追加のトレーニングデータを活用することは、敵の堅牢性を改善するために十分に確立されているが、データ収集の避けられないコストと、モデルをトレーニングするための重い計算を引き起こす。 このコストを軽減するために,限られた訓練データの下で補助的なタスクを利用する新しい対人訓練手法である \textit{Guided Adversarial Training } (GAT) を提案する。 提案手法は,1タスクモデルからマルチタスクモデルへ拡張し,複数のタスクにまたがる勾配曲率を正規化し,損失最適化を駆動する。 gatは、ラベルを自動的に生成するセルフ教師タスクと、人間の専門家が追加のラベルを提供するドメイン知識タスクの2つの補助タスクを活用する。 実験的に、限られたデータの下では、GATはCIFAR-10のロバスト精度を4倍(11%から42%)、CheXpertの医用画像データセットのロバストAUCを50倍から83倍に向上させる。 CIFAR-10の全データセットでは、GATは8つの最先端の対人訓練戦略を上回っている。 5つのデータセットと6つのタスクにまたがる大規模な研究は、タスク拡張がデータ拡張の効率的な代替であり、クリーンで堅牢なパフォーマンスを達成するための鍵であることを示している。

関連論文リスト

• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Reducing Adversarial Training Cost with Gradient Approximation [0.3916094706589679]
  そこで本研究では,厳密なモデル構築に要するコストを削減するために,GAAT(グラディエント近似)を用いた対戦訓練法を提案する。 提案手法は,データセット上でのモデルテスト精度に比較して,トレーニング時間の最大60%を節約する。
  論文  参考訳（メタデータ） (2023-09-18T03:55:41Z)
• Instruction Tuned Models are Quick Learners [20.771930945083994]
  そこで本研究では,各種タスクにおける指導調律モデルのサンプル効率について述べる。 STL設定では、下流列車データの25%を備えた指導調律モデルが下流タスクのSOTA性能を上回っている。 MTL設定では、下流のトレーニングデータの6%しか訓練されていない指導調律モデルがSOTAを達成する一方で、100%のトレーニングデータを使用することで3.69%の改善が達成される。
  論文  参考訳（メタデータ） (2023-05-17T22:30:01Z)
• Efficient Utilization of Large Pre-Trained Models for Low Resource ASR [31.57758062484189]
  ベトナム語とドイツ語の医学領域から,低リソースの会話音声コーパスについて検討した。 本研究では,大規模事前学習モデルの簡易微調整を超えて,教師なし手法の利点を示す。
  論文  参考訳（メタデータ） (2022-10-26T17:34:30Z)
• DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV [65.07776277630228]
  分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。 特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。 また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
  論文  参考訳（メタデータ） (2022-08-04T04:35:53Z)
• Curriculum Learning: A Regularization Method for Efficient and Stable Billion-Scale GPT Model Pre-Training [18.640076155697415]
  本稿では,自己回帰モデルによる事前学習の収束速度の向上を支援するカリキュラム学習に基づく手法を提案する。 評価の結果,カリキュラム学習により,バッチサイズが8倍,学習速度が4倍のGPT-2モデルを学習できることがわかった。
  論文  参考訳（メタデータ） (2021-08-13T06:32:53Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Efficient Adversarial Training with Transferable Adversarial Examples [58.62766224452761]
  同じトレーニングプロセスにおいて、近隣のエポックからのモデル間で高い転送可能性があることが示される。 本稿では,ATTA(Adversarial Training with Transferable Adversarial Examples)を提案する。
  論文  参考訳（メタデータ） (2019-12-27T03:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。