Fugu-MT 論文翻訳(概要): Spectral regularization for adversarially-robust representation learning

論文の概要: Spectral regularization for adversarially-robust representation learning

arxiv url: http://arxiv.org/abs/2405.17181v1
Date: Mon, 27 May 2024 14:01:42 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 15:13:09.279877
Title: Spectral regularization for adversarially-robust representation learning
Title（参考訳）: 逆ロバスト表現学習のためのスペクトル正規化
Authors: Sheng Yang, Jacob A. Zavatone-Veth, Cengiz Pehlevan,
Abstract要約: 下流の分類タスクにおけるブラックボックスの対角ロバスト性を促進する表現学習のための新しいスペクトル正規化器を提案する。本手法は, ネットワークのすべての層を正規化する手法よりも, テスト精度とロバスト性の向上に有効であることを示す。
参考スコア（独自算出の注目度）: 32.84188052937496
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The vulnerability of neural network classifiers to adversarial attacks is a major obstacle to their deployment in safety-critical applications. Regularization of network parameters during training can be used to improve adversarial robustness and generalization performance. Usually, the network is regularized end-to-end, with parameters at all layers affected by regularization. However, in settings where learning representations is key, such as self-supervised learning (SSL), layers after the feature representation will be discarded when performing inference. For these models, regularizing up to the feature space is more suitable. To this end, we propose a new spectral regularizer for representation learning that encourages black-box adversarial robustness in downstream classification tasks. In supervised classification settings, we show empirically that this method is more effective in boosting test accuracy and robustness than previously-proposed methods that regularize all layers of the network. We then show that this method improves the adversarial robustness of classifiers using representations learned with self-supervised training or transferred from another classification task. In all, our work begins to unveil how representational structure affects adversarial robustness.
Abstract（参考訳）: ニューラルネットワーク分類器の敵攻撃に対する脆弱性は、安全クリティカルなアプリケーションへの展開において大きな障害となる。トレーニング中のネットワークパラメータの規則化は、対向的堅牢性と一般化性能を改善するために使用できる。通常、ネットワークは正規化されたエンドツーエンドで、すべての層にパラメータが正規化によって影響を受ける。しかし、自己教師付き学習(SSL)のような学習表現が鍵となる環境では、推論を行う際に特徴表現の後のレイヤは破棄される。これらのモデルでは、機能領域への正規化がより適しています。この目的のために、下流分類タスクにおけるブラックボックスの対角的堅牢性を促進する表現学習のための新しいスペクトル正規化器を提案する。教師付き分類設定では,ネットワークのすべての層を正規化する手法よりも,テスト精度とロバスト性の向上に有効であることが実証的に示されている。そこで,本手法は,自己教師型学習で学習した表現や,他の分類課題から受け継いだ表現を用いて,分類器の対角ロバスト性を向上させることを示す。全体として、我々の研究は、表象構造が敵の強靭性にどのように影響するかを明らかにし始めます。

関連論文リスト

SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文参考訳（メタデータ） (2024-07-23T20:34:23Z)
Enhancing Robust Representation in Adversarial Training: Alignment and Exclusion Criteria [61.048842737581865]
対人訓練 (AT) は, 頑健な特徴の学習を省略し, 対人的頑健さの低下を招いた。非対称な負のコントラストと逆の注意によって、頑健な表現を得るためのATの一般的なフレームワークを提案する。 3つのベンチマークデータセットの実証評価により,ATの堅牢性を大幅に向上し,最先端の性能を実現することができた。
論文参考訳（メタデータ） (2023-10-05T07:29:29Z)
Isometric Representations in Neural Networks Improve Robustness [0.0]
我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
論文参考訳（メタデータ） (2022-11-02T16:18:18Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文参考訳（メタデータ） (2021-10-26T17:00:16Z)
Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文参考訳（メタデータ） (2021-10-22T01:55:01Z)
REGroup: Rank-aggregating Ensemble of Generative Classifiers for Robust Predictions [6.0162772063289784]
敵の訓練やランダムな入力変換を採用する防衛戦略は、合理的なパフォーマンスを達成するために、モデルの再訓練や微調整を必要とするのが普通である。中間層の神経応答を統計的に特徴付けることにより, 生成型分類器を学習し, トレーニングサンプルをクリーンにすることができる。提案手法は, クリーントレーニングデータのサブセットと事前学習モデルを用いており, ネットワークアーキテクチャや敵攻撃生成手法に非依存である。
論文参考訳（メタデータ） (2020-06-18T17:07:19Z)
AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks [12.14537824884951]
本稿では,トレーニング中のアクティベーションの規模を段階的に罰する新たな正規化手法を提案する。本手法が一般化に与える影響をラベルランダム化試験と累積アブレーションを用いて解析した。
論文参考訳（メタデータ） (2020-03-07T18:38:46Z)
Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。任意の関数に対するランダム化スムージングの統一的なビューを示す。本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文参考訳（メタデータ） (2020-02-07T21:28:30Z)
Generative Adversarial Trainer: Defense to Adversarial Perturbations with GAN [13.561553183983774]
本稿では, 生成的対角ネットワークを用いて, ニューラルネットワークを敵の例に頑健にするための新しい手法を提案する。ジェネレータネットワークは、各画像の勾配を用いて分類器ネットワークを騙し易くする対向摂動を生成する。我々の対戦型トレーニングフレームワークは、Dropoutのような他の正規化手法よりも効率よくオーバーフィッティングを減らし、性能を向上します。
論文参考訳（メタデータ） (2017-05-09T15:30:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。