論文の概要: Tight Certified Robustness via Min-Max Representations of ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2310.04916v1
• Date: Sat, 7 Oct 2023 21:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-10-12 14:26:19.838239
• Title: Tight Certified Robustness via Min-Max Representations of ReLU Neural Networks
• Title（参考訳）: ReLUニューラルネットワークの最小表現による高認証ロバスト性
• Authors: Brendon G. Anderson, Samuel Pfrommer, Somayeh Sojoudi
• Abstract要約: 制御システムにニューラルネットワークを確実に配置するには、厳格な堅牢性を保証する必要がある。 本稿では,ReLUニューラルネットワークの凸表現に対する強靭性証明を得る。
• 参考スコア（独自算出の注目度）: 9.771011198361865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reliable deployment of neural networks in control systems requires rigorous robustness guarantees. In this paper, we obtain tight robustness certificates over convex attack sets for min-max representations of ReLU neural networks by developing a convex reformulation of the nonconvex certification problem. This is done by "lifting" the problem to an infinite-dimensional optimization over probability measures, leveraging recent results in distributionally robust optimization to solve for an optimal discrete distribution, and proving that solutions of the original nonconvex problem are generated by the discrete distribution under mild boundedness, nonredundancy, and Slater conditions. As a consequence, optimal (worst-case) attacks against the model may be solved for exactly. This contrasts prior state-of-the-art that either requires expensive branch-and-bound schemes or loose relaxation techniques. Experiments on robust control and MNIST image classification examples highlight the benefits of our approach.
• Abstract（参考訳）: 制御システムにおけるニューラルネットワークの信頼性の高いデプロイメントには、厳密な堅牢性保証が必要である。 本稿では,reluニューラルネットワークのmin-max表現に対する凸アタックセットに対する強固な強固性証明を,非凸認証問題の凸再構成法を開発すれば得られる。 これは、問題を確率測度上の無限次元最適化に「リフト」し、分散的ロバストな最適化の最近の結果を利用して最適な離散分布を解き、マイルド有界性、非冗長性、スレーター条件の下で離散分布によって元の非凸問題の解が生成されることを証明した。 その結果、モデルに対する最適な(ワーストケース)攻撃は正確に解くことができる。 これは、高価な分岐とバウンドのスキームや緩やかな緩和技術を必要とする以前の最先端技術とは対照的である。 ロバスト制御とmnist画像分類の実験では,本手法の利点を強調する。

関連論文リスト

• Robust Optimization Approach and Learning Based Hide-and-Seek Game for Resilient Network Design [10.37026246853005]
  本研究では、信号が許容しきい値以下になる前に、信号が限られた距離までしか転送できない、レジリエントで信頼性の高い通信ネットワークの設計について検討する。 過度な信号劣化が発生した場合、選択されたネットワークノードにインストールされた再生器を通して再生する必要がある。
  論文  参考訳（メタデータ） (2026-02-12T11:48:24Z)
• From Overfitting to Reliability: Introducing the Hierarchical Approximate Bayesian Neural Network [3.632251954989679]
  HABNNは、ガウス-逆ウィッシュアート分布をネットワークの重みのハイパープライアとして利用する、新しいアプローチである。 その結果、HABNNは適合するだけでなく、しばしば最先端のモデルよりも優れていることが示唆された。
  論文  参考訳（メタデータ） (2025-12-15T09:08:42Z)
• Worst-case generation via minimax optimization in Wasserstein space [19.645939141861543]
  最悪のケース生成は、分散シフト下でのロバストネスとストレステストシステムを評価する上で重要な役割を果たす。 我々は,所定のリスクに対する最悪のケース生成のための生成モデリングフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-12-09T02:11:08Z)
• Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients [16.39606116102731]
  適応型ニューラルネットワークを提供するPolyakの消滅は、勾配降下(SGD)にとって有望な選択であることが証明された。 ディープネットワークに関する総合的な実験は、タイトな凸ネットワーク理論を腐食させる。 本研究では、強い仮定を必要とせず、非滑らかな最適化に対して厳密な収束保証を提供する。
  論文  参考訳（メタデータ） (2025-12-02T02:24:32Z)
• On the Probabilistic Learnability of Compact Neural Network Preimage Bounds [71.59148070050212]
  本研究では,高信頼度保証と有界誤差の解の提供を目的とした,新しい確率論的視点を採用する。 このメソッドは、ランダム化された決定ツリーのアンサンブルを利用して、所望の出力特性を満たす候補入力領域を生成する。 我々の理論的導出は、地域純度とグローバルカバレッジに関する正式な統計的保証を提供し、実用的なスケーラブルなコンピューティングソリューションを提供する。
  論文  参考訳（メタデータ） (2025-11-10T16:56:51Z)
• Preserving Deep Representations In One-Shot Pruning: A Hessian-Free Second-Order Optimization Framework [12.331056472174275]
  SNOWSは、再トレーニングをせずに視覚ネットワーク推論のコストを削減することを目的とした、一発の訓練後プルーニングフレームワークである。 我々のフレームワークの重要な革新は、完全にヘッセン行列を計算したり保存したりすることなく、ヘッセン自由最適化を用いてニュートン降下ステップを正確に計算することである。
  論文  参考訳（メタデータ） (2024-11-27T14:25:00Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Robust Bayesian Satisficing [8.65552688277074]
  そこで我々は,ノイズの多いブラックボックス最適化のためのロバスト充足アルゴリズムRoBOSを提案する。 本アルゴリズムは,分布シフトの量に対する一定の仮定の下で,線形的寛大な後悔を保証する。 さらに,我々のアルゴリズムが分布シフトの量に依存しない線形上界を達成できるような,頑健な満足な後悔という,より弱い後悔の概念を定義した。
  論文  参考訳（メタデータ） (2023-08-16T11:31:18Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Trust your neighbours: Penalty-based constraints for model calibration [19.437451462590108]
  SVLSの制約付き最適化の観点を示し、周辺画素のソフトクラス比に暗黙の制約を課すことを示した。 本稿では,ロジット値の等式制約に基づく基本的かつ単純な解を提案し,強制制約と罰則の重みを明示的に制御する。
  論文  参考訳（メタデータ） (2023-03-11T01:10:26Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent [95.94432031144716]
  学習ネットワークの分析のための統合された非最適化フレームワークを提案する。 既存の保証は勾配降下により統一することができることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:45:00Z)
• A Sequential Framework Towards an Exact SDP Verification of Neural Networks [14.191310794366075]
  ニューラルネットワークのロバスト性を研究するために,凸最適化に基づくいくつかの手法が文献で提案されている。 堅牢な認証アプローチの課題は、大きな緩和ギャップがあることです。 本研究では,このギャップをゼロに縮めるための逐次プログラミングフレームワークを開発することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-10-16T19:45:11Z)
• Online and Distribution-Free Robustness: Regression and Contextual Bandits with Huber Contamination [29.85468294601847]
  線形回帰と文脈的帯域幅という2つの古典的高次元オンライン学習問題を再考する。 従来の手法が失敗した場合にアルゴリズムが成功することを示す。
  論文  参考訳（メタデータ） (2020-10-08T17:59:05Z)
• PEREGRiNN: Penalized-Relaxation Greedy Neural Network Verifier [1.1011268090482575]
  我々は、ReLU NNの最も一般的な安全仕様を正式に検証するための新しいアプローチを導入する。 我々は, 線形実現可能性チェッカーとしてだけでなく, 解法で許容される緩和量のペナルティ化の手段として, 凸解法を用いる。
  論文  参考訳（メタデータ） (2020-06-18T21:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。