Fugu-MT 論文翻訳(概要): Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors

論文の概要: Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors

arxiv url: http://arxiv.org/abs/2211.12005v1
Date: Tue, 22 Nov 2022 04:54:20 GMT
ステータス: 処理完了
システム内更新日: 2022-11-23 17:16:31.984356
Title: Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors
Title（参考訳）: セルフアンサンブル保護:トレーニングチェックポイントは優れたデータプロテクター
Authors: Sizhe Chen, Geng Yuan, Xinwen Cheng, Yifan Gong, Minghai Qin, Yanzhi Wang, Xiaolin Huang
Abstract要約: トレーニングにおいて常に認識されていない(正しく分類されていない)敵の事例に対する自己アンサンブル保護(SEP)を提案する。例えば、我々の小さな摂動により、CIFAR-10 ResNet18の精度は94.56%から14.68%に低下し、最もよく知られている方法は41.35%となった。
参考スコア（独自算出の注目度）: 41.45649235969172
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As data become increasingly vital for deep learning, a company would be very cautious about releasing data, because the competitors could use the released data to train high-performance models, thereby posing a tremendous threat to the company's commercial competence. To prevent training good models on the data, imperceptible perturbations could be added to it. Since such perturbations aim at hurting the entire training process, they should reflect the vulnerability of DNN training, rather than that of a single model. Based on this new idea, we seek adversarial examples that are always unrecognized (never correctly classified) in training. In this paper, we uncover them by modeling checkpoints' gradients, forming the proposed self-ensemble protection (SEP), which is very effective because (1) learning on examples ignored during normal training tends to yield DNNs ignoring normal examples; (2) checkpoints' cross-model gradients are close to orthogonal, meaning that they are as diverse as DNNs with different architectures in conventional ensemble. That is, our amazing performance of ensemble only requires the computation of training one model. By extensive experiments with 9 baselines on 3 datasets and 5 architectures, SEP is verified to be a new state-of-the-art, e.g., our small $\ell_\infty=2/255$ perturbations reduce the accuracy of a CIFAR-10 ResNet18 from 94.56\% to 14.68\%, compared to 41.35\% by the best-known method.Code is available at https://github.com/Sizhe-Chen/SEP.
Abstract（参考訳）: 深層学習においてデータがますます重要になるにつれて、企業はデータ公開に非常に慎重になるでしょう。データ上の良質なモデルのトレーニングを防止するために、知覚不能な摂動を追加できる。このような混乱はトレーニングプロセス全体を損なうことを目的としているため、単一のモデルではなく、DNNトレーニングの脆弱性を反映すべきである。この新しいアイデアに基づいて、トレーニングにおいて常に認識されていない(正しく分類されていない)敵の例を求める。本稿では, チェックポイントの勾配をモデル化し, 提案した自己アンサンブル保護(SEP)を作成した。これは, 1) 通常の訓練中に無視された例を学習すると, 通常の例を無視したDNNが得られる傾向があり, 2) チェックポイントのクロスモデル勾配は直交に近いため, 従来のアンサンブルでは異なるアーキテクチャを持つDNNと同じくらい多様である。つまり、我々の素晴らしいアンサンブルのパフォーマンスは、1つのモデルのトレーニングの計算だけを必要とするのです。 3つのデータセットと5つのアーキテクチャの9つのベースラインによる広範囲な実験により、sepは新たな最先端であることを確認した。たとえば、小さな$\ell_\infty=2/255$摂動により、cifar-10 resnet18の精度は94.56\%から14.68\%に低下し、最もよく知られたメソッドによる41.35\%である。コードはhttps://github.com/sizhe-chen/sepで入手できる。

関連論文リスト

MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文参考訳（メタデータ） (2024-10-02T16:05:03Z)
Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free Ensembles of DNNs [9.010643838773477]
本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。オーバーフィットは検証精度を低下させることなく発生しうることを示し,従来よりも一般的である可能性が示唆された。我々は,1つのネットワークのトレーニング履歴のみに基づいて,新たなアンサンブル法を構築するために,我々の観測結果を用いて,トレーニング時間に追加のコストを要さず,大幅な改善を実現する。
論文参考訳（メタデータ） (2023-10-17T09:22:22Z)
Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文参考訳（メタデータ） (2023-03-24T16:03:21Z)
Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文参考訳（メタデータ） (2022-08-17T05:42:59Z)
RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文参考訳（メタデータ） (2022-07-12T19:34:47Z)
Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。 RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
論文参考訳（メタデータ） (2022-06-03T02:26:24Z)
One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
論文参考訳（メタデータ） (2022-05-24T15:17:52Z)
DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks [7.687838702806964]
DeepObliviateと呼ばれるアプローチを提案し、マシンアンラーニングを効率的に実装します。本手法は,中間モデルをハードディスク上に格納することで,元のトレーニングプロセスを改善する。ゼロから再トレーニングする方法と比較して、99.0%、95.0%、91.9%、96.7%、74.1%の精度と66.7$times$、75.0$times$、33.3$times$、29.4$times$、13.7$times$ speedupsが得られる。
論文参考訳（メタデータ） (2021-05-13T12:02:04Z)
To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
論文参考訳（メタデータ） (2020-10-13T02:21:54Z)
Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文参考訳（メタデータ） (2020-10-08T16:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。