論文の概要: DAFT: Distilling Adversarially Fine-tuned Models for Better OOD Generalization

• arxiv url: http://arxiv.org/abs/2208.09139v1
• Date: Fri, 19 Aug 2022 03:48:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-22 17:24:15.007053
• Title: DAFT: Distilling Adversarially Fine-tuned Models for Better OOD Generalization
• Title（参考訳）: DAFT:より優れたOOD一般化のための逆調整モデル
• Authors: Anshul Nasery, Sravanti Addepalli, Praneeth Netrapalli, Prateek Jain
• Abstract要約: 我々は,OOD一般化の課題について考察する。その目的は,トレーニング分布と異なるテスト分布でよく機能するモデルをトレーニングすることである。 我々は,多数のリッチな特徴を逆向きに頑健に組み合わせることで,OODの堅牢性を実現するという直感に基づく新しい手法,DAFTを提案する。 我々は、DomainBedフレームワークの標準ベンチマーク上でDAFTを評価し、DAFTが現在の最先端OOD一般化法よりも大幅に改善できることを実証した。
• 参考スコア（独自算出の注目度）: 35.53270942633211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of OOD generalization, where the goal is to train a model that performs well on test distributions that are different from the training distribution. Deep learning models are known to be fragile to such shifts and can suffer large accuracy drops even for slightly different test distributions. We propose a new method - DAFT - based on the intuition that adversarially robust combination of a large number of rich features should provide OOD robustness. Our method carefully distills the knowledge from a powerful teacher that learns several discriminative features using standard training while combining them using adversarial training. The standard adversarial training procedure is modified to produce teachers which can guide the student better. We evaluate DAFT on standard benchmarks in the DomainBed framework, and demonstrate that DAFT achieves significant improvements over the current state-of-the-art OOD generalization methods. DAFT consistently out-performs well-tuned ERM and distillation baselines by up to 6%, with more pronounced gains for smaller networks.
• Abstract（参考訳）: 我々は,OOD一般化の課題について考察する。その目的は,トレーニング分布と異なるテスト分布でよく機能するモデルをトレーニングすることである。 ディープラーニングモデルはそのようなシフトに対して脆弱であることが知られており、わずかに異なるテスト分布であっても大きな精度低下を被る可能性がある。 我々は,多数のリッチな特徴を逆向きに堅牢に組み合わせることで,OODの堅牢性を実現するという直感に基づく新しい手法,DAFTを提案する。 本手法は,標準的な訓練を併用しながら,複数の識別的特徴を学習する強力な教師の知識を精査する。 標準的な対人訓練手順は、生徒をよりよく指導できる教師を生み出すために修正される。 我々は、DomainBedフレームワークの標準ベンチマーク上でDAFTを評価し、DAFTが現在の最先端OOD一般化法よりも大幅に改善されていることを示す。 DAFTは、よく調整されたEMMと蒸留ベースラインを最大6%上回り、より小さなネットワークではより顕著な利益を得る。

関連論文リスト

• Faithful Label-free Knowledge Distillation [8.572967695281054]
  本稿では,中期教師(TinTeM)と呼ばれるラベルフリーな知識蒸留手法を提案する。 より忠実な学生を生み出し、教師ネットワークの振る舞いをよりよく再現し、モデルの堅牢性、一般化可能性、アウト・オブ・ディストリビューション検出などをテストする。
  論文  参考訳（メタデータ） (2024-11-22T01:48:44Z)
• Towards Fairness-Aware Adversarial Learning [13.932705960012846]
  フェアネス・アウェア・アドバーサリアル・ラーニング(FAAL)という新しい学習パラダイムを提案する。 提案手法は,異なるカテゴリ間で最悪の分布を求めることを目的としており,高い確率で上界性能が得られることを保証している。 特にFAALは、不公平なロバストモデルを2つのエポックで公平に調整できるが、全体的なクリーンで堅牢なアキュラシーを損なうことはない。
  論文  参考訳（メタデータ） (2024-02-27T18:01:59Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• On the Robustness of Open-World Test-Time Training: Self-Training with Dynamic Prototype Expansion [46.30241353155658]
  ディープラーニングモデルを低レイテンシで未知のターゲット領域分布に一般化することは、テスト時間トレーニング/適応(TTT/TTA)の研究を動機付けている。 多くの最先端手法は、ターゲットドメインが強いアウト・オブ・ディストリビューション(OOD)データで汚染されると性能を維持することができない。 我々は,自己学習型TTT法の有効性を向上させる適応型強力なOODプルーニングを開発した。 我々は,分散アライメントによる自己学習を正規化し,その組み合わせにより,OWTTTベンチマークの最先端性能が得られる。
  論文  参考訳（メタデータ） (2023-08-19T08:27:48Z)
• Mitigating Accuracy-Robustness Trade-off via Balanced Multi-Teacher Adversarial Distillation [12.39860047886679]
  敵対的トレーニングは、敵対的攻撃に対するディープニューラルネットワークの堅牢性を改善するための実践的なアプローチである。 本稿では,B-MTARD(Ba balanced Multi-Teacher Adversarial Robustness Distillation)を導入する。 B-MTARDは、様々な敵攻撃に対して最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-06-28T12:47:01Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)
• Adversarial Robustness on In- and Out-Distribution Improves Explainability [109.68938066821246]
  RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。 RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
  論文  参考訳（メタデータ） (2020-03-20T18:57:52Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。