論文の概要: DAFT: Distilling Adversarially Fine-tuned Models for Better OOD
Generalization
- arxiv url: http://arxiv.org/abs/2208.09139v1
- Date: Fri, 19 Aug 2022 03:48:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-22 17:24:15.007053
- Title: DAFT: Distilling Adversarially Fine-tuned Models for Better OOD
Generalization
- Title(参考訳): DAFT:より優れたOOD一般化のための逆調整モデル
- Authors: Anshul Nasery, Sravanti Addepalli, Praneeth Netrapalli, Prateek Jain
- Abstract要約: 我々は,OOD一般化の課題について考察する。その目的は,トレーニング分布と異なるテスト分布でよく機能するモデルをトレーニングすることである。
我々は,多数のリッチな特徴を逆向きに頑健に組み合わせることで,OODの堅牢性を実現するという直感に基づく新しい手法,DAFTを提案する。
我々は、DomainBedフレームワークの標準ベンチマーク上でDAFTを評価し、DAFTが現在の最先端OOD一般化法よりも大幅に改善できることを実証した。
- 参考スコア(独自算出の注目度): 35.53270942633211
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of OOD generalization, where the goal is to train a
model that performs well on test distributions that are different from the
training distribution. Deep learning models are known to be fragile to such
shifts and can suffer large accuracy drops even for slightly different test
distributions. We propose a new method - DAFT - based on the intuition that
adversarially robust combination of a large number of rich features should
provide OOD robustness. Our method carefully distills the knowledge from a
powerful teacher that learns several discriminative features using standard
training while combining them using adversarial training. The standard
adversarial training procedure is modified to produce teachers which can guide
the student better. We evaluate DAFT on standard benchmarks in the DomainBed
framework, and demonstrate that DAFT achieves significant improvements over the
current state-of-the-art OOD generalization methods. DAFT consistently
out-performs well-tuned ERM and distillation baselines by up to 6%, with more
pronounced gains for smaller networks.
- Abstract(参考訳): 我々は,OOD一般化の課題について考察する。その目的は,トレーニング分布と異なるテスト分布でよく機能するモデルをトレーニングすることである。
ディープラーニングモデルはそのようなシフトに対して脆弱であることが知られており、わずかに異なるテスト分布であっても大きな精度低下を被る可能性がある。
我々は,多数のリッチな特徴を逆向きに堅牢に組み合わせることで,OODの堅牢性を実現するという直感に基づく新しい手法,DAFTを提案する。
本手法は,標準的な訓練を併用しながら,複数の識別的特徴を学習する強力な教師の知識を精査する。
標準的な対人訓練手順は、生徒をよりよく指導できる教師を生み出すために修正される。
我々は、DomainBedフレームワークの標準ベンチマーク上でDAFTを評価し、DAFTが現在の最先端OOD一般化法よりも大幅に改善されていることを示す。
DAFTは、よく調整されたEMMと蒸留ベースラインを最大6%上回り、より小さなネットワークではより顕著な利益を得る。
関連論文リスト
- Towards Fairness-Aware Adversarial Learning [14.947647219053037]
フェアネス・アウェア・アドバーサリアル・ラーニング(FAAL)という新しい学習パラダイムを提案する。
提案手法は,異なるカテゴリ間で最悪の分布を求めることを目的としており,高い確率で上界性能が得られることを保証している。
特にFAALは、不公平なロバストモデルを2つのエポックで公平に調整できるが、全体的なクリーンで堅牢なアキュラシーを損なうことはない。
論文 参考訳(メタデータ) (2024-02-27T18:01:59Z) - Perturbation-Invariant Adversarial Training for Neural Ranking Models:
Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
正統な文書に不可避な摂動を加えることで 敵の例を作れます
この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。
本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
論文 参考訳(メタデータ) (2023-12-16T05:38:39Z) - On the Robustness of Open-World Test-Time Training: Self-Training with
Dynamic Prototype Expansion [46.30241353155658]
ディープラーニングモデルを低レイテンシで未知のターゲット領域分布に一般化することは、テスト時間トレーニング/適応(TTT/TTA)の研究を動機付けている。
多くの最先端手法は、ターゲットドメインが強いアウト・オブ・ディストリビューション(OOD)データで汚染されると性能を維持することができない。
我々は,自己学習型TTT法の有効性を向上させる適応型強力なOODプルーニングを開発した。
我々は,分散アライメントによる自己学習を正規化し,その組み合わせにより,OWTTTベンチマークの最先端性能が得られる。
論文 参考訳(メタデータ) (2023-08-19T08:27:48Z) - Mitigating the Accuracy-Robustness Trade-off via Multi-Teacher
Adversarial Distillation [8.848895036534769]
敵対的トレーニングは、敵対的攻撃に対するディープニューラルネットワークの堅牢性を改善するための実践的なアプローチである。
本稿では, MTARD (Multi-Teacher Adversarial Robustness Distillation) を導入する。
公開データセットで行った実験は、MTARDが様々な敵攻撃に対して最先端の敵の訓練と蒸留法より優れていることを示した。
論文 参考訳(メタデータ) (2023-06-28T12:47:01Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳(メタデータ) (2023-02-28T04:26:20Z) - Learning Generalizable Models for Vehicle Routing Problems via Knowledge
Distillation [23.483671660119384]
車両ルーティング問題に対する最近のニューラル手法は、常に同じインスタンス分布上のディープモデルを訓練し、テストする。
より一般化可能な深層モデル学習のための適応多分布知識蒸留法を提案する。
我々のAMDKDは汎用的で、推論の計算資源が少ない。
論文 参考訳(メタデータ) (2022-10-14T10:23:23Z) - Partial and Asymmetric Contrastive Learning for Out-of-Distribution
Detection in Long-Tailed Recognition [80.07843757970923]
既存のOOD検出手法は,トレーニングセットが長距離分布している場合,大幅な性能劣化に悩まされていることを示す。
本稿では,部分的および非対称的な教師付きコントラスト学習(PASCL)を提案する。
我々の手法は従来の最先端の手法を1.29%$, $1.45%$, $0.69%$異常検出偽陽性率(FPR)と$3.24%$, 4,.06%$, 7,89%$in-distributionで上回ります。
論文 参考訳(メタデータ) (2022-07-04T01:53:07Z) - Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness
and Accuracy for Free [115.81899803240758]
敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。
本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。
提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
論文 参考訳(メタデータ) (2020-10-22T16:06:34Z) - Adversarial Robustness on In- and Out-Distribution Improves
Explainability [109.68938066821246]
RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。
RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
論文 参考訳(メタデータ) (2020-03-20T18:57:52Z) - Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。
既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。
本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文 参考訳(メタデータ) (2020-02-14T12:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。