論文の概要: Semialgebraic Optimization for Lipschitz Constants of ReLU Networks

• arxiv url: http://arxiv.org/abs/2002.03657v4
• Date: Wed, 28 Oct 2020 09:19:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 09:37:58.428665
• Title: Semialgebraic Optimization for Lipschitz Constants of ReLU Networks
• Title（参考訳）: ReLUネットワークのリプシッツ定数に対する半代数最適化
• Authors: Tong Chen, Jean-Bernard Lasserre, Victor Magron, Edouard Pauwels
• Abstract要約: ネットワークのリプシッツ定数は、ロバストネスやWasserstein Generative Adrial Networkなど、ディープラーニングの多くの応用において重要な役割を果たす。 多層ディープニューラルネットワークのグローバル・アンバーサ局所リプシッツ定数を推定するために,半定値プログラミング階層を導入する。
• 参考スコア（独自算出の注目度）: 11.45218307887752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Lipschitz constant of a network plays an important role in many applications of deep learning, such as robustness certification and Wasserstein Generative Adversarial Network. We introduce a semidefinite programming hierarchy to estimate the global and local Lipschitz constant of a multiple layer deep neural network. The novelty is to combine a polynomial lifting for ReLU functions derivatives with a weak generalization of Putinar's positivity certificate. This idea could also apply to other, nearly sparse, polynomial optimization problems in machine learning. We empirically demonstrate that our method provides a trade-off with respect to state of the art linear programming approach, and in some cases we obtain better bounds in less time.
• Abstract（参考訳）: ネットワークのリプシッツ定数は、堅牢性認証やWasserstein Generative Adversarial Networkなど、ディープラーニングの多くの応用において重要な役割を果たす。 本稿では,多層深層ニューラルネットワークのグローバルおよびローカルリプシッツ定数を推定するために,半定義型プログラミング階層を導入する。 新規性は、ReLU関数の多項式リフトとプーチナーの正の証明の弱い一般化を組み合わせることである。 このアイデアは、機械学習の他の、ほぼスパースな多項式最適化問題にも適用できる。 我々は,この手法が線形プログラミング手法の現状に対してトレードオフをもたらすことを実証的に証明し,場合によってはより少ない時間でより良い境界を求める。

関連論文リスト

• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• LipBaB: Computing exact Lipschitz constant of ReLU networks [0.0]
  LipBaBは、ディープニューラルネットワークのローカルLipschitz定数の認定境界を計算するためのフレームワークです。 このアルゴリズムは任意の p-ノルムに対するリプシッツ定数の正確な計算を提供することができる。
  論文  参考訳（メタデータ） (2021-05-12T08:06:11Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Lipschitz constant estimation of Neural Networks via sparse polynomial optimization [47.596834444042685]
  LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。 ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。 ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
  論文  参考訳（メタデータ） (2020-04-18T18:55:02Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)
• Optimistic bounds for multi-output prediction [6.015556590955814]
  教師付きデータセットに基づいてベクトル値関数を学習することが目的であるマルチアウトプット学習の課題について検討する。 これには、マルチターゲット回帰、マルチクラス分類、マルチラベル分類など、機械学習におけるさまざまな重要な問題が含まれている。 自己有界リプシッツ条件は多出力学習において楽観的な境界を生じさせることを示す。
  論文  参考訳（メタデータ） (2020-02-22T20:54:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。