論文の概要: Compositional Curvature Bounds for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2406.05119v1
• Date: Fri, 7 Jun 2024 17:50:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:02:56.873283
• Title: Compositional Curvature Bounds for Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークのための構成曲率境界
• Authors: Taha Entesari, Sina Sharifi, Mahyar Fazlyab,
• Abstract要約: 安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。 本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。 ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 7.373617024876726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key challenge that threatens the widespread use of neural networks in safety-critical applications is their vulnerability to adversarial attacks. In this paper, we study the second-order behavior of continuously differentiable deep neural networks, focusing on robustness against adversarial perturbations. First, we provide a theoretical analysis of robustness and attack certificates for deep classifiers by leveraging local gradients and upper bounds on the second derivative (curvature constant). Next, we introduce a novel algorithm to analytically compute provable upper bounds on the second derivative of neural networks. This algorithm leverages the compositional structure of the model to propagate the curvature bound layer-by-layer, giving rise to a scalable and modular approach. The proposed bound can serve as a differentiable regularizer to control the curvature of neural networks during training, thereby enhancing robustness. Finally, we demonstrate the efficacy of our method on classification tasks using the MNIST and CIFAR-10 datasets.
• Abstract（参考訳）: 安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。 本稿では, 連続微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する頑健性に着目した。 まず、第2微分(曲率定数)上の局所勾配と上界を利用することにより、深い分類器に対するロバスト性および攻撃証明書を理論的に解析する。 次に、ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。 このアルゴリズムは、モデルの構成構造を利用して、曲率境界層を層単位で伝播させ、スケーラブルでモジュラーなアプローチをもたらす。 提案したバウンダリは、トレーニング中のニューラルネットワークの曲率を制御するための微分正則化器として機能し、堅牢性を高めることができる。 最後に,本手法が MNIST と CIFAR-10 データセットを用いた分類作業に有効であることを示す。

関連論文リスト

• Stochastic Gradient Descent for Two-layer Neural Networks [2.0349026069285423]
  本稿では、過パラメータ化された2層ニューラルネットワークに適用した場合の降下(SGD)アルゴリズムの収束率について検討する。 提案手法は,NTKのタンジェントカーネル(NTK)近似と,NTKが生成する再生カーネル空間(RKHS)の収束解析を組み合わせたものである。 我々の研究フレームワークは、カーネルメソッドと最適化プロセスの間の複雑な相互作用を探索し、ニューラルネットワークのダイナミクスと収束特性に光を当てることを可能にする。
  論文  参考訳（メタデータ） (2024-07-10T13:58:57Z)
• Learning-Based Verification of Stochastic Dynamical Systems with Neural Network Policies [7.9898826915621965]
  我々は、他のニューラルネットワークをトレーニングする検証手順を使用し、ポリシーがタスクを満足することを示す証明書として機能する。 リーチ回避タスクでは、この証明ネットワークがリーチ回避スーパーマーチンゲール(RASM)であることを示すのに十分である。
  論文  参考訳（メタデータ） (2024-06-02T18:19:19Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks with Probabilities over Representations [2.047424180164312]
  本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。 我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-28T14:11:07Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Non-asymptotic Excess Risk Bounds for Classification with Deep Convolutional Neural Networks [6.051520664893158]
  本稿では,一般の深層畳み込みニューラルネットワークを用いたバイナリ分類の問題を考える。 我々は、入力データ次元と他のモデルパラメータの観点から、リスク境界の要素を定義する。 CNNを用いた分類手法は次元の呪いを回避できることを示す。
  論文  参考訳（メタデータ） (2021-05-01T15:55:04Z)
• Second-Order Component Analysis for Fault Detection [0.0]
  高次ニューラルネットワークは、元のデータやノイズ、異常から重要な情報をオーバーフィッティングし、学習するリスクをもたらす可能性がある。 本稿では,2次成分分析(SCA)と呼ばれる新しい故障検出手法を提案する。
  論文  参考訳（メタデータ） (2021-03-12T14:25:37Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。