論文の概要: Few-shot Transferable Robust Representation Learning via Bilevel Attacks
- arxiv url: http://arxiv.org/abs/2210.10485v1
- Date: Wed, 19 Oct 2022 11:48:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 15:04:10.829657
- Title: Few-shot Transferable Robust Representation Learning via Bilevel Attacks
- Title（参考訳）: バイレベルアタックによる移動可能なロバスト表現学習
- Authors: Minseon Kim, Hyeonjeong Ha, Sung Ju Hwang
- Abstract要約: 本稿では,二段階攻撃を伴う対戦型自己教師型メタラーニングフレームワークを提案する。
未確認領域適応タスクに対するアプローチの有効性を実験的に検証した。
本手法は,数発の学習課題において,最先端のメタ・アドバイサル学習法よりも優れていた。
- 参考スコア（独自算出の注目度）: 59.167432249229584
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Existing adversarial learning methods for enhancing the robustness of deep
neural networks assume the availability of a large amount of data from which we
can generate adversarial examples. However, in an adversarial meta-learning
setting, the model needs to train with only a few adversarial examples to learn
a robust model for unseen tasks, which is a very difficult goal to achieve.
Further, learning transferable robust representations for unseen domains is a
difficult problem even with a large amount of data. To tackle such a challenge,
we propose a novel adversarial self-supervised meta-learning framework with
bilevel attacks which aims to learn robust representations that can generalize
across tasks and domains. Specifically, in the inner loop, we update the
parameters of the given encoder by taking inner gradient steps using two
different sets of augmented samples, and generate adversarial examples for each
view by maximizing the instance classification loss. Then, in the outer loop,
we meta-learn the encoder parameter to maximize the agreement between the two
adversarial examples, which enables it to learn robust representations. We
experimentally validate the effectiveness of our approach on unseen domain
adaptation tasks, on which it achieves impressive performance. Specifically,
our method significantly outperforms the state-of-the-art meta-adversarial
learning methods on few-shot learning tasks, as well as self-supervised
learning baselines in standard learning settings with large-scale datasets.
- Abstract（参考訳）: ディープニューラルネットワークのロバスト性を高めるための既存の逆学習手法では、大量のデータが利用可能であり、そこから逆の例を生成することができる。
しかしながら、敵対的なメタラーニング環境では、モデルは、目に見えないタスクの堅牢なモデルを学ぶために、少数の敵の例でトレーニングする必要があります。
さらに、大量のデータであっても、未知のドメインに対する転送可能なロバスト表現の学習は難しい問題である。
このような課題に対処するために,タスクやドメインをまたいで一般化可能なロバストな表現を学習することを目的とした,二段階攻撃による対戦型自己教師型メタラーニングフレームワークを提案する。
具体的には、インナーループにおいて、2つの異なる拡張サンプルを用いてインナーグラデーションステップを採り、インスタンス分類損失を最大化して各ビューの逆例を生成することで、与えられたエンコーダのパラメータを更新する。
そして、外ループにおいてエンコーダパラメータをメタ学習し、2つの対角的例間の一致を最大化し、ロバストな表現を学習する。
提案手法が未確認領域適応タスクに与える影響を実験的に検証し,その有効性を実証した。
具体的には, 大規模データセットを用いた標準学習環境での自己教師あり学習ベースラインと同様に, 数発学習タスクにおける最先端のメタ敵学習法を著しく上回っている。
関連論文リスト
- MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。
トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。
本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文 参考訳（メタデータ） (2024-10-02T16:05:03Z) - When Measures are Unreliable: Imperceptible Adversarial Perturbations
toward Top-$k$ Multi-Label Learning [83.8758881342346]
新しい損失関数は、視覚的および測定的不受容性を両立できる敵の摂動を生成するために考案された。
大規模ベンチマークデータセットを用いた実験により,提案手法が最上位の$kのマルチラベルシステムを攻撃する際の優位性を実証した。
論文 参考訳（メタデータ） (2023-07-27T13:18:47Z) - Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive
Learning [72.3506897990639]
本稿では,Pseudo-supervised Contrast (PsCo) という,シンプルだが効果的なメタ学習フレームワークを提案する。
PsCoは、さまざまなドメイン内およびクロスドメインのいくつかのショット分類ベンチマークの下で、既存の教師なしメタラーニングメソッドより優れています。
論文 参考訳（メタデータ） (2023-03-02T06:10:13Z) - Resisting Adversarial Attacks in Deep Neural Networks using Diverse
Decision Boundaries [12.312877365123267]
深層学習システムは、人間の目には認識できないが、モデルが誤分類される可能性がある、人工的な敵の例に弱い。
我々は,オリジナルモデルに対する多様な決定境界を持つディフェンダーモデルを構築するための,アンサンブルに基づく新しいソリューションを開発した。
我々は、MNIST、CIFAR-10、CIFAR-100といった標準画像分類データセットを用いて、最先端の敵攻撃に対する広範な実験を行った。
論文 参考訳（メタデータ） (2022-08-18T08:19:26Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-01-20T11:48:12Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。
そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
論文 参考訳（メタデータ） (2020-09-26T19:47:38Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。