論文の概要: Gaussian Loss Smoothing Enables Certified Training with Tight Convex Relaxations

• arxiv url: http://arxiv.org/abs/2403.07095v3
• Date: Thu, 10 Oct 2024 10:01:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:28:07.570242
• Title: Gaussian Loss Smoothing Enables Certified Training with Tight Convex Relaxations
• Title（参考訳）: ガウスの損失の平滑化は、タイト凸緩和による認定トレーニングを可能にする
• Authors: Stefan Balauca, Mark Niklas Müller, Yuhao Mao, Maximilian Baader, Marc Fischer, Martin Vechev,
• Abstract要約: 敵の例に対して高い精度でニューラルネットワークを訓練することは、依然としてオープンな課題である。 厳密な凸緩和を効果的に活用し、バウンド計算を行う。 トレーニングでは、これらの手法は緩やかに緩和されるよりも悪い結果をもたらす可能性がある。 ガウシアン・ロス・スムーシングはこれらの問題を緩和できることを示す。
• 参考スコア（独自算出の注目度）: 14.061189994638667
• License:
• Abstract: Training neural networks with high certified accuracy against adversarial examples remains an open challenge despite significant efforts. While certification methods can effectively leverage tight convex relaxations for bound computation, in training, these methods, perhaps surprisingly, can perform worse than looser relaxations. Prior work hypothesized that this phenomenon is caused by the discontinuity, non-smoothness, and perturbation sensitivity of the loss surface induced by tighter relaxations. In this work, we theoretically show that Gaussian Loss Smoothing (GLS) can alleviate these issues. We confirm this empirically by instantiating GLS with two variants: a zeroth-order optimization algorithm, called PGPE, which allows training with non-differentiable relaxations, and a first-order optimization algorithm, called RGS, which requires gradients of the relaxation but is much more efficient than PGPE. Extensive experiments show that when combined with tight relaxations, these methods surpass state-of-the-art methods when training on the same network architecture for many settings. Our results clearly demonstrate the promise of Gaussian Loss Smoothing for training certifiably robust neural networks and pave a path towards leveraging tighter relaxations for certified training.
• Abstract（参考訳）: 敵の例に対して高い精度でニューラルネットワークを訓練することは、大きな努力にもかかわらず、未解決の課題である。 認証手法は、境界計算の厳密な凸緩和を効果的に活用できるが、トレーニングでは、おそらく驚くべきことに、より緩やかな緩和よりも悪い結果が得られる。 先行研究は、この現象は、より緊密な緩和によって引き起こされる損失面の不連続性、非平滑性、摂動感受性によって引き起こされると仮定した。 本研究では,ガウスロス平滑化(GLS)がこれらの問題を緩和できることを理論的に示す。 我々は、GLSを2つの変種でインスタンス化することによってこれを実証的に確認する: PGPEと呼ばれるゼロ階最適化アルゴリズムは、非微分緩和によるトレーニングを可能にするもので、RGSと呼ばれる一階最適化アルゴリズムは、緩和の勾配を必要とするがPGPEよりもはるかに効率的である。 大規模な実験により、多くの設定で同じネットワークアーキテクチャでトレーニングを行う際に、厳密な緩和と組み合わせることで、これらの手法が最先端の手法を超えることが示されている。 以上の結果から,Gaussian Loss Smoothingが堅牢なニューラルネットワークをトレーニングし,より厳密な緩和と認定トレーニングへの道を開くことが明らかとなった。

関連論文リスト

• The Iterative Optimal Brain Surgeon: Faster Sparse Recovery by Leveraging Second-Order Information [35.34142909458158]
  IHTのような古典的反復的スパースリカバリアルゴリズムのプロジェクションステップにおいて、OBSのような方法で曲率情報を活用することができることを示す。 本稿では,この手法の拡張を,正確なスペーサーを得るための実践的なタスクに適用し,視覚および言語タスクのトランスフォーマーモデルに対して,それを大規模に検証する。
  論文  参考訳（メタデータ） (2024-08-30T10:06:26Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
  入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-16T20:43:49Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Tightened Convex Relaxations for Neural Network Robustness Certification [10.68833097448566]
  我々は、ReLUネットワークの構造を利用して、新しいパーティションベースの認証手順により緩和誤差を改善する。 提案手法は, 既存の線形プログラミング緩和を厳格化することが証明され, 結果がより微細になるにつれて, 緩和誤差がゼロとなる。
  論文  参考訳（メタデータ） (2020-04-01T16:59:21Z)
• Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation [7.952659059689134]
  スパイキングニューラルネットワーク(SNN)は、スパースでイベント駆動の計算によって生じる潜在的なエネルギー効率について検討されている。 本稿では,損失関数のスパイク数と従来の誤差損失とを明示的に含み,精度とスパイク間隔の両方の重みパラメータを最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-02T23:39:18Z)
• Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers [72.56180590447835]
  凸緩和は、ノルムバウンドの敵攻撃に対するトレーニングとニューラルネットワークの認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。 非正規化ベースラインよりも高い精度でトレーニング可能なニューラルネットワークのトレーニングに使用できる2つの実験を提案する。
  論文  参考訳（メタデータ） (2020-02-22T20:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。