論文の概要: Adversarial training with informed data selection

• arxiv url: http://arxiv.org/abs/2301.04472v1
• Date: Sat, 7 Jan 2023 12:09:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 17:20:47.205407
• Title: Adversarial training with informed data selection
• Title（参考訳）: 情報化データ選択による対人訓練
• Authors: Marcele O. K. Mendon\c{c}a, Javier Maroto, Pascal Frossard and Paulo S. R. Diniz
• Abstract要約: アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
• 参考スコア（独自算出の注目度）: 53.19381941131439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing amount of available data and advances in computing capabilities, deep neural networks (DNNs) have been successfully employed to solve challenging tasks in various areas, including healthcare, climate, and finance. Nevertheless, state-of-the-art DNNs are susceptible to quasi-imperceptible perturbed versions of the original images -- adversarial examples. These perturbations of the network input can lead to disastrous implications in critical areas where wrong decisions can directly affect human lives. Adversarial training is the most efficient solution to defend the network against these malicious attacks. However, adversarial trained networks generally come with lower clean accuracy and higher computational complexity. This work proposes a data selection (DS) strategy to be applied in the mini-batch training. Based on the cross-entropy loss, the most relevant samples in the batch are selected to update the model parameters in the backpropagation. The simulation results show that a good compromise can be obtained regarding robustness and standard accuracy, whereas the computational complexity of the backpropagation pass is reduced.
• Abstract（参考訳）: 利用可能なデータの増加とコンピューティング能力の進歩により、ディープニューラルネットワーク(DNN)は、医療、気候、金融など、さまざまな分野の課題を解決するために、うまく採用されている。 それでも、最先端のdnnは、オリジナルのイメージの準知覚可能な摂動バージョンに影響を受けやすい。 これらのネットワーク入力の摂動は、誤った決定が直接人間の生活に影響を与える重要な領域に悲惨な影響をもたらす可能性がある。 敵の訓練は、悪質な攻撃からネットワークを守る最も効率的な方法だ。 しかし、敵の訓練されたネットワークは通常、よりクリーンな正確さと高い計算複雑性を持つ。 本研究は,ミニバッチトレーニングに適用可能なデータ選択(DS)戦略を提案する。 クロスエントロピー損失に基づいて、バッチで最も関連性の高いサンプルが選択され、バックプロパゲーションでモデルパラメータを更新する。 シミュレーションの結果,バックプロパゲーションパスの計算複雑性が低下する一方,ロバスト性や標準精度に関して良好な妥協が得られることが示された。

関連論文リスト

• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Preventing Arbitrarily High Confidence on Far-Away Data in Point-Estimated Discriminative Neural Networks [28.97655735976179]
  ReLUネットワークは、テストデータがトレーニングセットから遠く離れている場合、ほぼ常に高い信頼性の予測が得られることが示されている。 我々は、余剰クラスのロジットに対応するニューラルネットワークの出力に項を追加することで、この問題を克服する。 この技術は、簡易な識別点推定訓練を維持しながら、遠距離試験データに対する任意に高い信頼を確実に防止する。
  論文  参考訳（メタデータ） (2023-11-07T03:19:16Z)
• Comprehensive Analysis of Network Robustness Evaluation Based on Convolutional Neural Networks with Spatial Pyramid Pooling [4.366824280429597]
  複雑なネットワークを理解し、最適化し、修復するための重要な側面である接続性の堅牢性は、伝統的にシミュレーションを通じて評価されてきた。 空間ピラミッドプールネットワーク(SPP-net)を用いた畳み込みニューラルネットワーク(CNN)モデルの設計により,これらの課題に対処する。 提案したCNNモデルは,全ての除去シナリオにおいて,攻撃曲線とロバストネスの両値の正確な評価を一貫して達成していることを示す。
  論文  参考訳（メタデータ） (2023-08-10T09:54:22Z)
• DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
  ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。 本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。 我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-25T08:16:21Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
  動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。 凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
  論文  参考訳（メタデータ） (2020-11-17T10:23:28Z)
• Initializing Perturbations in Multiple Directions for Fast Adversarial Training [1.8638865257327277]
  画像分類において、敵の例は、画像のクリーニングにほとんど知覚できない摂動を加えることで、よく訓練されたディープニューラルネットワークを騙すことができる。 逆行訓練は最も直接的で効果的な方法の1つであり、摂動データの損失を最小限に抑える。 我々はDIP-FAT(Diversified Initialized Perturbations Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2020-05-15T15:52:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。