Fugu-MT 論文翻訳(概要): Robust Few-shot Learning Without Using any Adversarial Samples

論文の概要: Robust Few-shot Learning Without Using any Adversarial Samples

arxiv url: http://arxiv.org/abs/2211.01598v1
Date: Thu, 3 Nov 2022 05:58:26 GMT
ステータス: 処理完了
システム内更新日: 2022-11-04 12:42:40.635704
Title: Robust Few-shot Learning Without Using any Adversarial Samples
Title（参考訳）: 対数サンプルを用いないロバスト・ファウショット学習
Authors: Gaurav Kumar Nayak, Ruchit Rawal, Inder Khatri, Anirban Chakraborty
Abstract要約: 高度なメタラーニング技術を用いて、数発の問題をロバストネスの目的と組み合わせる試みがいくつかなされている。逆のサンプルを一切必要としない単純で効果的な代替案を提案する。ヒトの認知的意思決定プロセスにインスパイアされ、ベースクラスデータとそれに対応する低周波サンプルの高レベル特徴マッチングを強制する。
参考スコア（独自算出の注目度）: 19.34427461937382
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The high cost of acquiring and annotating samples has made the `few-shot' learning problem of prime importance. Existing works mainly focus on improving performance on clean data and overlook robustness concerns on the data perturbed with adversarial noise. Recently, a few efforts have been made to combine the few-shot problem with the robustness objective using sophisticated Meta-Learning techniques. These methods rely on the generation of adversarial samples in every episode of training, which further adds a computational burden. To avoid such time-consuming and complicated procedures, we propose a simple but effective alternative that does not require any adversarial samples. Inspired by the cognitive decision-making process in humans, we enforce high-level feature matching between the base class data and their corresponding low-frequency samples in the pretraining stage via self distillation. The model is then fine-tuned on the samples of novel classes where we additionally improve the discriminability of low-frequency query set features via cosine similarity. On a 1-shot setting of the CIFAR-FS dataset, our method yields a massive improvement of $60.55\%$ & $62.05\%$ in adversarial accuracy on the PGD and state-of-the-art Auto Attack, respectively, with a minor drop in clean accuracy compared to the baseline. Moreover, our method only takes $1.69\times$ of the standard training time while being $\approx$ $5\times$ faster than state-of-the-art adversarial meta-learning methods. The code is available at https://github.com/vcl-iisc/robust-few-shot-learning.
Abstract（参考訳）: サンプルの取得と注釈付けのコストが高いことから、"ファウショット"学習は最も重要な問題となっている。既存の作業は主にクリーンなデータのパフォーマンス向上と、敵対的ノイズに悩まされるデータに対する堅牢性に関する懸念の見落としに重点を置いている。近年,高度なメタ学習手法を用いて,少数の問題とロバスト性目標を組み合わせる試みがいくつか行われている。これらの手法は、訓練の各エピソードにおける逆サンプルの生成に依存しており、さらに計算負荷が増大する。このような時間を要する複雑な手順を避けるために,逆方向のサンプルを必要としない単純な代替手段を提案する。人間の認知的意思決定プロセスに触発されて,基礎クラスデータとそれに対応する低周波サンプルとの高レベル特徴マッチングを自己蒸留によって事前訓練段階に実施する。このモデルは、コサイン類似性によって低周波クエリ集合の特徴の判別性がさらに向上する、新しいクラスのサンプルで微調整される。 CIFAR-FSデータセットの1ショット設定では、PGDと最先端のオートアタックの対向精度が60.55\%と62.05\%と大幅に向上し、ベースラインと比較してわずかに精度が低下した。さらに、標準のトレーニング時間の1.69\times$と、最先端の敵対的メタラーニングメソッドよりも約$5\times$である。コードはhttps://github.com/vcl-iisc/robust-few-shot-learningで入手できる。

関連論文リスト

Disentangled Training with Adversarial Examples For Robust Small-footprint Keyword Spotting [18.456711824241978]
KWSのロバスト性を改善するために,逆例を用いたデータソース対応不整合学習を提案する。実験結果から,提案手法は偽拒絶率を40.31%,偽受け入れ率1%で改善することが示された。我々の最高のパフォーマンスシステムは、Google Speech Commands V1データセットで9,8.06%の精度を達成する。
論文参考訳（メタデータ） (2024-08-23T20:03:51Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文参考訳（メタデータ） (2023-10-16T14:43:27Z)
Finding the SWEET Spot: Analysis and Improvement of Adaptive Inference in Low Resource Settings [6.463202903076821]
トレーニングデータに制限がある場合、適応推論の2つの主要なアプローチであるEarly-ExitとMulti-Modelを比較した。 Early-Exitは、マルチモデルアプローチのオーバーヘッドのために、より高速なトレードオフを提供する。本稿では,SWEETを提案する。SWEETは,各分類器に独自のモデル重みの集合を割り当てる初期出力微調整法である。
論文参考訳（メタデータ） (2023-06-04T09:16:39Z)
Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
論文参考訳（メタデータ） (2022-12-18T03:57:12Z)
Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。本手法は,検索性能の最先端手法を3%～6%向上させる。
論文参考訳（メタデータ） (2022-11-29T14:52:38Z)
A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks [3.2895195535353308]
数ショットアーキテクチャのための新しい最大ログ類似度指標を提案する。提案手法は,従来の類似度指標よりも優れた性能を実現することを示す。また,提案アルゴリズムは,評価データが不均衡である場合に,最先端のトランスダクティブな数ショット性能を実現することを示す。
論文参考訳（メタデータ） (2022-11-26T21:31:00Z)
UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning [89.56465237941013]
UNICONは,高ラベル雑音に対して頑健な,シンプルで効果的なサンプル選択法である。 90%のノイズレートでCIFAR100データセットの最先端データよりも11.4%改善した。
論文参考訳（メタデータ） (2022-03-28T07:36:36Z)
Accelerating Deep Learning with Dynamic Data Pruning [0.0]
ディープラーニングは、最先端のネットワークをトレーニングするために強力なコンピューティングシステムへのアクセスを必要とするため、違法にコストがかかるようになった。 forget scoresやGraNd/EL2N scoresといった以前の作業では、完全なデータセット内の重要なサンプルを特定し、残りのサンプルを刈り取ることで、エポック毎のイテレーションを減らすことができる。本稿では,強化学習手法に基づく2つのアルゴリズムを提案し,ランダムな動的手法よりも高い精度でサンプルを動的にプーンする。
論文参考訳（メタデータ） (2021-11-24T16:47:34Z)
Learning Fast Sample Re-weighting Without Reward Data [41.92662851886547]
本稿では,新たな報酬データを必要としない学習ベース高速サンプル再重み付け手法を提案する。実験により,提案手法は,ラベルノイズや長い尾の認識に関する芸術的状況と比較して,競争力のある結果が得られることを示した。
論文参考訳（メタデータ） (2021-09-07T17:30:56Z)
Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文参考訳（メタデータ） (2021-01-20T11:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。