Fugu-MT 論文翻訳(概要): Long-term Cross Adversarial Training: A Robust Meta-learning Method for Few-shot Classification Tasks

論文の概要: Long-term Cross Adversarial Training: A Robust Meta-learning Method for Few-shot Classification Tasks

arxiv url: http://arxiv.org/abs/2106.12900v1
Date: Tue, 22 Jun 2021 06:31:16 GMT
ステータス: 処理完了
システム内更新日: 2021-06-25 15:12:09.543573
Title: Long-term Cross Adversarial Training: A Robust Meta-learning Method for Few-shot Classification Tasks
Title（参考訳）: 長期横断的対人訓練:一括分類課題に対するロバストなメタラーニング手法
Authors: Fan Liu, Shuyu Zhao, Xuelong Dai, Bin Xiao
Abstract要約: 本稿では,LCAT(Long-term Cross Adversarial Training)と呼ばれる,逆向き頑健なニューラルネットワークのメタラーニング手法を提案する。逆行訓練により、LCATはAQよりも逆行訓練の半数しか必要とせず、結果として逆行訓練のエポックは低くなる。実験の結果,LCATはクリーンおよび逆数ショットの分類精度において優れた性能を示した。
参考スコア（独自算出の注目度）: 10.058068783476598
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Meta-learning model can quickly adapt to new tasks using few-shot labeled data. However, despite achieving good generalization on few-shot classification tasks, it is still challenging to improve the adversarial robustness of the meta-learning model in few-shot learning. Although adversarial training (AT) methods such as Adversarial Query (AQ) can improve the adversarially robust performance of meta-learning models, AT is still computationally expensive training. On the other hand, meta-learning models trained with AT will drop significant accuracy on the original clean images. This paper proposed a meta-learning method on the adversarially robust neural network called Long-term Cross Adversarial Training (LCAT). LCAT will update meta-learning model parameters cross along the natural and adversarial sample distribution direction with long-term to improve both adversarial and clean few-shot classification accuracy. Due to cross-adversarial training, LCAT only needs half of the adversarial training epoch than AQ, resulting in a low adversarial training computation. Experiment results show that LCAT achieves superior performance both on the clean and adversarial few-shot classification accuracy than SOTA adversarial training methods for meta-learning models.
Abstract（参考訳）: メタ学習モデルは、わずかなラベル付きデータを使用して、新しいタスクに迅速に適応できる。しかしながら、少数ショット分類タスクでの優れた一般化は達成されているものの、少数ショット学習におけるメタラーニングモデルの敵対的堅牢性を改善することは依然として困難である。 adversarial query(aq)のようなadversarial training(at)メソッドは、メタラーニングモデルの敵対的ロバストなパフォーマンスを向上させることができるが、atはまだ計算コストの高いトレーニングである。一方、ATで訓練されたメタ学習モデルは、元のクリーンな画像にかなりの精度を落とします。本稿では,LCAT(Long-term Cross Adversarial Training)と呼ばれる,敵対的頑健なニューラルネットワークのメタラーニング手法を提案する。 LCATは、メタラーニングモデルパラメーターを、自然なサンプル分布方向と反対のサンプル分布方向に沿って長期にわたって更新し、敵の分類精度とクリーンな数ショット分類精度を改善する。 LCATは対人訓練のため、AQよりも対人訓練の半数しか必要とせず、結果として対人訓練の計算は低くなる。実験の結果,LCATはメタラーニングモデルのSOTA対逆訓練法よりもクリーンかつ逆数ショットの分類精度が優れていることがわかった。

関連論文リスト

FREE: Faster and Better Data-Free Meta-Learning [77.90126669914324]
Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。 i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
論文参考訳（メタデータ） (2024-05-02T03:43:19Z)
Introducing Adaptive Continuous Adversarial Training (ACAT) to Enhance ML Robustness [1.474723404975345]
ACATは、継続的学習セッション中に、敵のトレーニングサンプルをモデルに統合する。 MLをベースとしたSPAMフィルタの精度は,3回のトレーニング後に69%から88%に向上した。
論文参考訳（メタデータ） (2024-03-15T16:52:25Z)
Boosting Meta-Training with Base Class Information for Few-Shot Learning [35.144099160883606]
2つの代替ループからなるエンドツーエンドのトレーニングパラダイムを提案する。外部ループでは,最終線形層のみを更新しながら,トレーニングセット全体のクロスエントロピー損失を算出する。このトレーニングパラダイムは、迅速に収束するだけでなく、既存のベースラインよりも優れており、トレーニングセット全体からの情報とメタラーニングトレーニングパラダイムが相互に強化できることを示している。
論文参考訳（メタデータ） (2024-03-06T05:13:23Z)
SCAT: Robust Self-supervised Contrastive Learning via Adversarial Training for Text Classification [15.932462099791307]
SCAT (Self-supervised Contrastive Learning via Adversarial Training) と呼ばれる新しい学習フレームワークを提案する。 SCATは、データのランダムな拡張をラベルのない方法で修正し、敵の例を生成する。以上の結果から,SCATはスクラッチから頑健な言語モデルを訓練できるだけでなく,既存の事前学習言語モデルの堅牢性を大幅に向上させることができることがわかった。
論文参考訳（メタデータ） (2023-07-04T05:41:31Z)
CAT:Collaborative Adversarial Training [80.55910008355505]
ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。 Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
論文参考訳（メタデータ） (2023-03-27T05:37:43Z)
Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
論文参考訳（メタデータ） (2023-03-20T15:10:41Z)
Generating meta-learning tasks to evolve parametric loss for classification learning [1.1355370218310157]
既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
論文参考訳（メタデータ） (2021-11-20T13:07:55Z)
Exploration and Exploitation: Two Ways to Improve Chinese Spelling Correction Models [51.744357472072416]
本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
論文参考訳（メタデータ） (2021-05-31T09:17:33Z)
Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文参考訳（メタデータ） (2021-01-20T11:48:12Z)
Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification [62.10696018098057]
そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。 miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
論文参考訳（メタデータ） (2020-07-13T08:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。