論文の概要: A Winning Hand: Compressing Deep Networks Can Improve Out-Of-Distribution Robustness

• arxiv url: http://arxiv.org/abs/2106.09129v1
• Date: Wed, 16 Jun 2021 21:03:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-19 09:31:36.099464
• Title: A Winning Hand: Compressing Deep Networks Can Improve Out-Of-Distribution Robustness
• Title（参考訳）: 勝ち手:ディープネットワークを圧縮することで、分散のロバスト性が向上する
• Authors: James Diffenderfer, Brian R. Bartoldson, Shreya Chaganti, Jize Zhang, Bhavya Kailkhura
• Abstract要約: ロータリーチケットスタイル」のプルーニングアプローチは、ハイパフォーマンスなCARDを作成するのに驚くほど有効である。 具体的には、非常にコンパクトなCARDを作成できます。
• 参考スコア（独自算出の注目度）: 11.721149277888967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Two crucial requirements for a successful adoption of deep learning (DL) in the wild are: (1) robustness to distributional shifts, and (2) model compactness for achieving efficiency. Unfortunately, efforts towards simultaneously achieving Out-of-Distribution (OOD) robustness and extreme model compactness without sacrificing accuracy have mostly been unsuccessful. This raises an important question: "Is the inability to create compact, accurate, and robust deep neural networks (CARDs) fundamental?" To answer this question, we perform a large-scale analysis for a range of popular model compression techniques which uncovers several intriguing patterns. Notably, in contrast to traditional pruning approaches (e.g., fine tuning and gradual magnitude pruning), we find that "lottery ticket-style" pruning approaches can surprisingly be used to create high performing CARDs. Specifically, we are able to create extremely compact CARDs that are dramatically more robust than their significantly larger and full-precision counterparts while matching (or beating) their test accuracy, simply by pruning and/or quantizing. To better understand these differences, we perform sensitivity analysis in the Fourier domain for CARDs trained using different data augmentation methods. Motivated by our analysis, we develop a simple domain-adaptive test-time ensembling approach (CARD-Deck) that uses a gating module to dynamically select an appropriate CARD from the CARD-Deck based on their spectral-similarity with test samples. By leveraging complementary frequency biases of different compressed models, the proposed approach builds a "winning hand" of CARDs that establishes a new state-of-the-art on CIFAR-10-C accuracies (i.e., 96.8% clean and 92.75% robust) with dramatically better memory usage than their non-compressed counterparts. We also present some theoretical evidences supporting our empirical findings.
• Abstract（参考訳）: 自然界でディープラーニング(dl)を成功させるための2つの重要な要件は、(1)分布シフトに対する堅牢性、(2)効率性を達成するためのモデルコンパクト性である。 残念ながら、精度を犠牲にすることなくOOD(Out-of-Distribution)の堅牢性と極端なモデルコンパクト性を同時に達成しようとする試みはほとんど失敗に終わった。 これは、“コンパクトで正確で堅牢なディープニューラルネットワーク(cards)の基本を作ることができないか? この疑問に答えるために、我々はいくつかの興味深いパターンを解明する一般的なモデル圧縮手法の大規模解析を行う。 特に、従来のプルーニングアプローチ(例えば、微調整や段階的な等級のプルーニング)とは対照的に、「ロタリーチケットスタイル」プルーニングアプローチは驚くほど高性能なCARDを作成するために使用できる。 具体的には、単にプルーニングや定量化によって、テスト精度をマッチング(または打ち負かす)しながら、大幅に大きくて完全なCARDよりも劇的に堅牢な、非常にコンパクトなCARDを作成することができます。 これらの違いをよりよく理解するために、異なるデータ拡張法を用いて訓練されたCARDに対するフーリエ領域の感度解析を行う。 そこで本研究では,Gatingモジュールを用いてCARD-Deckから適切なCARDを動的に選択する簡易なドメイン適応型テスト時アンサンブル手法(CARD-Deck)を開発した。 異なる圧縮モデルの相補的な周波数バイアスを利用して、提案手法はCARDの「勝利の手」を構築し、CIFAR-10-Cアキュラシー(96.8%クリーン、92.75%ロバスト)に新たな最先端技術を確立する。 実験結果を支持する理論的証拠も提示した。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Deep Unfolded Tensor Robust PCA with Self-supervised Learning [21.710932587432396]
  深部展開を用いたテンソルRPCAの高速かつ簡易な自己教師モデルについて述べる。 我々のモデルは、競争力やパフォーマンスを保ちながら、根拠となる真理ラベルの必要性を排除します。 我々はこれらの主張を、合成データと実世界のタスクの混合上で実証する。
  論文  参考訳（メタデータ） (2022-12-21T20:34:42Z)
• EBJR: Energy-Based Joint Reasoning for Adaptive Inference [10.447353952054492]
  最先端のディープラーニングモデルは、さまざまなベンチマークで大きなパフォーマンスレベルを達成した。 一方、軽量アーキテクチャは適度な精度を実現しますが、より望ましいレイテンシを実現しています。 本稿では,大規模高精度モデルと小型高速モデルとを併用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-20T02:33:31Z)
• Boosting Randomized Smoothing with Variance Reduced Classifiers [4.110108749051657]
  ランダム化平滑化(Randomized Smoothing, RS)のベースモデルとして, アンサンブルが特に適した選択である理由を考察する。 我々は、この選択を実証的に確認し、複数の設定でアート結果の状態を取得する。
  論文  参考訳（メタデータ） (2021-06-13T08:40:27Z)
• Adversarial Feature Stacking for Accurate and Robust Predictions [4.208059346198116]
  Adversarial Feature Stacking (AFS)モデルは、さまざまなレベルの堅牢性と精度を持つ機能を共同で活用することができる。 CIFAR-10およびCIFAR-100データセット上でのAFSモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-03-24T12:01:24Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation [153.56211546576978]
  本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。 このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。 実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
  論文  参考訳（メタデータ） (2020-08-27T13:04:27Z)
• Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
  Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。 FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。 MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
  論文  参考訳（メタデータ） (2020-07-18T09:48:29Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。