論文の概要: Improving Adversarial Robustness for Free with Snapshot Ensemble

• arxiv url: http://arxiv.org/abs/2110.03124v1
• Date: Thu, 7 Oct 2021 00:41:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 16:07:54.682032
• Title: Improving Adversarial Robustness for Free with Snapshot Ensemble
• Title（参考訳）: スナップショットアンサンブルによる自由な対向ロバスト性の改善
• Authors: Yihao Wang
• Abstract要約: スナップショットアンサンブル(Snapshot ensemble)は、複数のローカルミニマを単一のトレーニングプロセスで組み合わせて最終的な予測を行う、新しいアンサンブル手法である。 スナップショットアンサンブルに基づいて,実装が容易な新しい手法を提案する。 私たちのアルゴリズムはずっとシンプルですが、結果は元のアルゴリズムよりも正確です。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training, as one of the few certified defenses against adversarial attacks, can be quite complicated and time-consuming, while the results might not be robust enough. To address the issue of lack of robustness, ensemble methods were proposed, aiming to get the final output by weighting the selected results from repeatedly trained processes. It is proved to be very useful in achieving robust and accurate results, but the computational and memory costs are even higher. Snapshot ensemble, a new ensemble method that combines several local minima in a single training process to make the final prediction, was proposed recently, which reduces the time spent on training multiple networks and the memory to store the results. Based on the snapshot ensemble, we present a new method that is easier to implement: unlike original snapshot ensemble that seeks for local minima, our snapshot ensemble focuses on the last few iterations of a training and stores the sets of parameters from them. Our algorithm is much simpler but the results are no less accurate than the original ones: based on different hyperparameters and datasets, our snapshot ensemble has shown a 5% to 30% increase in accuracy when compared to the traditional adversarial training.
• Abstract（参考訳）: 敵の攻撃に対する数少ない防御の1つとして、敵の訓練は非常に複雑で時間がかかり、その結果は十分に堅牢ではないかもしれない。 頑健さの欠如問題に対処するために, 繰り返し訓練されたプロセスから選択された結果の重み付けを行い, 最終結果を得るためのアンサンブル法が提案されている。 堅牢で正確な結果を達成するのに非常に有用であることが証明されているが、計算とメモリのコストはさらに高い。 スナップショットアンサンブル(Snapshot ensemble)は、複数のローカルミニマを単一のトレーニングプロセスで組み合わせて最終的な予測を行う新しいアンサンブル手法で、複数のネットワークとメモリのトレーニングに要する時間を短縮し、結果を格納する。 ローカルなミニマを求めるオリジナルのスナップショットアンサンブルとは異なり、スナップショットアンサンブルはトレーニングの最後の数回のイテレーションに焦点を合わせ、それらからパラメータのセットを格納します。 我々のアルゴリズムはより単純だが、結果はオリジナルのものよりも正確である: 異なるハイパーパラメータとデータセットに基づいて、我々のスナップショットアンサンブルは、従来の逆行訓練と比較して5%から30%精度が向上している。

関連論文リスト

• EnsIR: An Ensemble Algorithm for Image Restoration via Gaussian Mixture Models [70.60381055741391]
  画像復元の課題は、説明された問題に関連し、単一のモデル予測と地道のずれをもたらす。 アンサンブル学習は、複数のベースモデルの予測を組み合わせることで、これらの偏差に対処することを目的としている。 我々は予測候補のアンサンブル重みを推定するために予測(EM)に基づくアルゴリズムを用いる。 我々のアルゴリズムは、モデルに依存しない訓練不要であり、様々なトレーニング済み画像復元モデルのシームレスな統合と強化を可能にする。
  論文  参考訳（メタデータ） (2024-10-30T12:16:35Z)
• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• On Measuring the Intrinsic Few-Shot Hardness of Datasets [49.37562545777455]
  トレーニング済みのモデルに対して、データセットに固有の数ショットの硬さを示す。 そこで我々は,数発の学習が可能な直感をとらえる,シンプルで軽量な尺度"Spread"を提案する。 我々の測定基準は、既存の硬さの概念に比べて数発の硬さを考慮し、計算が8～100倍高速である。
  論文  参考訳（メタデータ） (2022-11-16T18:53:52Z)
• Robust Few-shot Learning Without Using any Adversarial Samples [19.34427461937382]
  高度なメタラーニング技術を用いて、数発の問題をロバストネスの目的と組み合わせる試みがいくつかなされている。 逆のサンプルを一切必要としない単純で効果的な代替案を提案する。 ヒトの認知的意思決定プロセスにインスパイアされ、ベースクラスデータとそれに対応する低周波サンプルの高レベル特徴マッチングを強制する。
  論文  参考訳（メタデータ） (2022-11-03T05:58:26Z)
• Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
  トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。 本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-13T07:37:53Z)
• Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
  本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。 RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。 その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T02:26:24Z)
• Enhanced Performance of Pre-Trained Networks by Matched Augmentation Distributions [10.74023489125222]
  列車-テストの分散シフトに対処するための簡単な解を提案する。 テスト画像に対して、複数のランダムな作物に対して結果を合成する。 これは列車の時間拡張と一致するだけでなく、入力画像の完全なカバレッジも提供する。
  論文  参考訳（メタデータ） (2022-01-19T22:33:00Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• Self-Play Reinforcement Learning for Fast Image Retargeting [38.91194252490872]
  強化学習エージェントを用いて各ステップの最適演算子を予測する手法を提案する。 実験の結果,処理時間を3桁に短縮したマルチオペレータ画像が得られた。
  論文  参考訳（メタデータ） (2020-10-02T10:31:27Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。