論文の概要: Improved Scalable Lipschitz Bounds for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2503.14297v1
• Date: Tue, 18 Mar 2025 14:39:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:17:03.396910
• Title: Improved Scalable Lipschitz Bounds for Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークのためのスケーラブルリプシッツ境界の改良
• Authors: Usman Syed, Bin Hu,
• Abstract要約: 我々は、ECLipsE-Fastより優れた性能を実現するために、拡張性のあるリプシッツ境界の新たなファミリーを開発する。 具体的には、LipSDPの可能な点のより一般的なパラメータ化を利用して、様々な閉形式リプシッツ境界を導出する。 さらに,本手法はECLipsE-Fastを特殊なケースとして含み,拡張性のあるリプシッツ境界のクラスをはるかに大きくすることを示す。
• 参考スコア（独自算出の注目度）: 3.195044561824979
• License:
• Abstract: Computing tight Lipschitz bounds for deep neural networks is crucial for analyzing their robustness and stability, but existing approaches either produce relatively conservative estimates or rely on semidefinite programming (SDP) formulations (namely the LipSDP condition) that face scalability issues. Building upon ECLipsE-Fast, the state-of-the-art Lipschitz bound method that avoids SDP formulations, we derive a new family of improved scalable Lipschitz bounds that can be combined to outperform ECLipsE-Fast. Specifically, we leverage more general parameterizations of feasible points of LipSDP to derive various closed-form Lipschitz bounds, avoiding the use of SDP solvers. In addition, we show that our technique encompasses ECLipsE-Fast as a special case and leads to a much larger class of scalable Lipschitz bounds for deep neural networks. Our empirical study shows that our bounds improve ECLipsE-Fast, further advancing the scalability and precision of Lipschitz estimation for large neural networks.
• Abstract（参考訳）: ディープニューラルネットワークに対する厳密なリプシッツ境界の計算は、その堅牢性と安定性を分析する上で重要であるが、既存のアプローチでは、比較的保守的な推定結果を生成するか、拡張性に直面する半有限プログラミング(SDP)の定式化(すなわち、LipSDP条件)に依存している。 SDPの定式化を避けた最先端のリプシッツ境界法であるECLipsE-Fastをベースとして、拡張性のあるリプシッツ境界の新たなファミリを導出し、ECLipsE-Fastを克服する。 具体的には、LipSDPの可能な点のより一般的なパラメータ化を利用して、SDPソルバの使用を避けるために、様々な閉形式リプシッツ境界を導出する。 さらに,本手法はECLipsE-Fastを特殊なケースとして含み,深層ニューラルネットワークのための拡張性のあるLipschitzバウンダリのクラスをはるかに大きくすることを示す。 我々の実証研究は、我々の境界がECLipsE-Fastを改善し、大規模ニューラルネットワークにおけるリプシッツ推定のスケーラビリティと精度をさらに向上させることを示している。

関連論文リスト

• On Robust Reinforcement Learning with Lipschitz-Bounded Policy Networks [1.1060425537315086]
  より小さなリプシッツ境界を持つポリシネットワークは、乱れやランダムノイズ、ターゲットとなる敵攻撃に対してより堅牢であることを示す。 スペクトル正規化の手法は保守的すぎるため,クリーンな性能に深刻な影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2024-05-19T03:27:31Z)
• Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
  ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。 このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。 提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-01-25T09:23:31Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• LipBaB: Computing exact Lipschitz constant of ReLU networks [0.0]
  LipBaBは、ディープニューラルネットワークのローカルLipschitz定数の認定境界を計算するためのフレームワークです。 このアルゴリズムは任意の p-ノルムに対するリプシッツ定数の正確な計算を提供することができる。
  論文  参考訳（メタデータ） (2021-05-12T08:06:11Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Lipschitz constant estimation of Neural Networks via sparse polynomial optimization [47.596834444042685]
  LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。 ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。 ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
  論文  参考訳（メタデータ） (2020-04-18T18:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。