論文の概要: A constrained optimization approach to improve robustness of neural networks

• arxiv url: http://arxiv.org/abs/2409.13770v2
• Date: Fri, 25 Oct 2024 13:01:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 05:13:17.438243
• Title: A constrained optimization approach to improve robustness of neural networks
• Title（参考訳）: ニューラルネットワークの堅牢性向上のための制約付き最適化手法
• Authors: Shudian Zhao, Jan Kronqvist,
• Abstract要約: クリーンなデータに対する精度を維持しつつ、敵攻撃に対する堅牢性を向上させるために、ファインチューン事前学習ニューラルネットワークに対する非線形プログラミングに基づく新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 1.2338729811609355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a novel nonlinear programming-based approach to fine-tune pre-trained neural networks to improve robustness against adversarial attacks while maintaining high accuracy on clean data. Our method introduces adversary-correction constraints to ensure correct classification of adversarial data and minimizes changes to the model parameters. We propose an efficient cutting-plane-based algorithm to iteratively solve the large-scale nonconvex optimization problem by approximating the feasible region through polyhedral cuts and balancing between robustness and accuracy. Computational experiments on standard datasets such as MNIST and CIFAR10 demonstrate that the proposed approach significantly improves robustness, even with a very small set of adversarial data, while maintaining minimal impact on accuracy.
• Abstract（参考訳）: 本稿では, クリーンデータに対する高い精度を維持しつつ, 敵攻撃に対する堅牢性を向上するための, 微調整事前学習ニューラルネットワークに対する非線形プログラミングに基づく新しいアプローチを提案する。 本手法では, 逆補正制約を導入し, 正当性を確保するとともに, モデルパラメータの変更を最小限に抑える。 本研究では,多面体切断により実現可能な領域を近似し,ロバスト性と精度のバランスをとることにより,大規模非凸最適化問題を反復的に解く,効率的な切削平面アルゴリズムを提案する。 MNISTやCIFAR10のような標準データセットの計算実験では、非常に小さな逆データであっても、提案手法は精度への影響を最小限に抑えながら、ロバスト性を大幅に向上することを示した。

関連論文リスト

• Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
  異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。 この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。 本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。 ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:59:57Z)
• Enhanced Online Test-time Adaptation with Feature-Weight Cosine Alignment [7.991720491452191]
  オンラインテスト時間適応(OTTA)は、分散シフトを扱う効果的な戦略として登場した。 本稿では,双対目的損失関数を用いたコサインアライメント最適化手法を提案する。 提案手法は最先端技術より優れ,複数のデータセットに新しいベンチマークを設定できる。
  論文  参考訳（メタデータ） (2024-05-12T05:57:37Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Learning to Refit for Convex Learning Problems [11.464758257681197]
  ニューラルネットワークを用いて、異なるトレーニングセットに対して最適化されたモデルパラメータを推定するフレームワークを提案する。 我々は、凸問題を近似するためにニューラルネットワークのパワーを厳格に特徴づける。
  論文  参考訳（メタデータ） (2021-11-24T15:28:50Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Robust Optimization Framework for Training Shallow Neural Networks Using Reachability Method [1.9798034349981157]
  ニューラルネットワークの到達可能性分析に基づいて、浅いニューラルネットワークをトレーニングする堅牢な最適化フレームワークを開発した。 開発したロバスト学習法は,トレーニング精度の損失に対して,摂動に対する堅牢性を向上できることを示した。
  論文  参考訳（メタデータ） (2021-07-27T13:16:20Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Bayesian Optimization with Machine Learning Algorithms Towards Anomaly Detection [66.05992706105224]
  本稿では,ベイズ最適化手法を用いた効果的な異常検出フレームワークを提案する。 ISCX 2012データセットを用いて検討したアルゴリズムの性能を評価する。 実験結果から, 精度, 精度, 低コストアラームレート, リコールの観点から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-08-05T19:29:35Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• A Graduated Filter Method for Large Scale Robust Estimation [32.08441889054456]
  そこで我々は,ローカル・ミニマから逃れる強力な能力を有する,ロバストな推定のための新しい解法を提案する。 我々のアルゴリズムは、多くのローカルなミニマが不足している問題を解くために、最先端の手法に基づいて構築されている。
  論文  参考訳（メタデータ） (2020-03-20T02:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。