論文の概要: Improving Adversarial Robustness via Probabilistically Compact Loss with Logit Constraints

• arxiv url: http://arxiv.org/abs/2012.07688v1
• Date: Mon, 14 Dec 2020 16:40:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 14:39:27.695828
• Title: Improving Adversarial Robustness via Probabilistically Compact Loss with Logit Constraints
• Title（参考訳）: logit制約付き確率的コンパクト損失による逆ロバスト性の改善
• Authors: Xin Li, Xiangrui Li, Deng Pan, Dongxiao Zhu
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンの様々なタスクで最先端のパフォーマンスを達成しました。 最近の研究では、これらのモデルは慎重に作られた敵のサンプルに対して脆弱であり、予測時に大幅なパフォーマンス低下に苦しむことが示されています。 ここでは、CNNの予測行動に関するユニークな洞察を提供し、最も可能性の高い偽クラスに敵のサンプルを誤分類する傾向がある。 CNNを改善するためのクロスエントロピー(CE)損失のドロップイン代替として使用できるロジット制約付き新しい確率コンパクト(PC)損失を提案する。
• 参考スコア（独自算出の注目度）: 19.766374145321528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) have achieved state-of-the-art performance on various tasks in computer vision. However, recent studies demonstrate that these models are vulnerable to carefully crafted adversarial samples and suffer from a significant performance drop when predicting them. Many methods have been proposed to improve adversarial robustness (e.g., adversarial training and new loss functions to learn adversarially robust feature representations). Here we offer a unique insight into the predictive behavior of CNNs that they tend to misclassify adversarial samples into the most probable false classes. This inspires us to propose a new Probabilistically Compact (PC) loss with logit constraints which can be used as a drop-in replacement for cross-entropy (CE) loss to improve CNN's adversarial robustness. Specifically, PC loss enlarges the probability gaps between true class and false classes meanwhile the logit constraints prevent the gaps from being melted by a small perturbation. We extensively compare our method with the state-of-the-art using large scale datasets under both white-box and black-box attacks to demonstrate its effectiveness. The source codes are available from the following url: https://github.com/xinli0928/PC-LC.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)はコンピュータビジョンにおける様々なタスクにおいて最先端のパフォーマンスを達成した。 しかし、近年の研究では、これらのモデルが注意深く作られた敵のサンプルに対して脆弱であり、予測時にかなりの性能低下を被っていることが示されている。 敵の堅牢性を改善するための多くの方法が提案されている(例えば、敵の訓練や、敵の堅牢な特徴表現を学習するための新しい損失関数など)。 ここでは、CNNの予測行動に関するユニークな洞察を提供し、最も可能性の高い偽クラスに敵のサンプルを誤分類する傾向がある。 これにより,CNNの対向ロバスト性を改善するために,クロスエントロピー(CE)損失のドロップイン代替として使用できるロジット制約付き確率的コンパクト(PC)損失を提案する。 特に、PC損失は真のクラスと偽クラスの間の確率ギャップを拡大する一方、ロジット制約は小さな摂動によってギャップが溶けることを防ぐ。 提案手法を,ホワイトボックス攻撃とブラックボックス攻撃の両方の大規模データセットを用いて,最先端の手法と比較し,その効果を実証する。 ソースコードは https://github.com/xinli0928/PC-LC から入手できる。

関連論文リスト

• MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
  ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。 トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。 本稿では,多目的特徴表現学習手法であるMORELを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:05:03Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Unfolding Local Growth Rate Estimates for (Almost) Perfect Adversarial Detection [22.99930028876662]
  畳み込みニューラルネットワーク(CNN)は、多くの知覚的タスクにおける最先端のソリューションを定義する。 現在のCNNアプローチは、システムを騙すために特別に作られた入力の敵の摂動に対して脆弱なままである。 本稿では,ネットワークの局所固有次元(LID)と敵攻撃の関係について,最近の知見を生かした,シンプルで軽量な検出器を提案する。
  論文  参考訳（メタデータ） (2022-12-13T17:51:32Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
  我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。 我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。 得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
  論文  参考訳（メタデータ） (2022-01-23T21:18:17Z)
• Understanding Square Loss in Training Overparametrized Neural Network Classifiers [31.319145959402462]
  過度にパラメータ化されたニューラルネットワークでどのように機能するかを体系的に検討することにより、分類における二乗損失の理論的理解に寄与する。 クラスが分離可能か否かに応じて2つのケースを考慮する。一般的な非分離可能の場合、誤分類率と校正誤差の両方について、高速収束率が確立される。 結果として得られるマージンはゼロから下界であることが証明され、ロバスト性の理論的な保証を提供する。
  論文  参考訳（メタデータ） (2021-12-07T12:12:30Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• Mitigating the Impact of Adversarial Attacks in Very Deep Networks [10.555822166916705]
  Deep Neural Network (DNN)モデルにはセキュリティに関する脆弱性がある。 データ中毒による摂動攻撃は、モデルに偽データを注入する複雑な敵対攻撃である。 そこで本研究では,攻撃に依存しない防御手法を提案する。
  論文  参考訳（メタデータ） (2020-12-08T21:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。