論文の概要: ECLipsE-Gen-Local: Efficient Compositional Local Lipschitz Estimates for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2510.05261v1
• Date: Mon, 06 Oct 2025 18:26:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.937843
• Title: ECLipsE-Gen-Local: Efficient Compositional Local Lipschitz Estimates for Deep Neural Networks
• Title（参考訳）: ECLipsE-Gen-Local:ディープニューラルネットワークのための効率的な構成局所リプシッツ推定
• Authors: Yuezhu Xu, S. Sivaranjani,
• Abstract要約: リプシッツ定数は、摂動を入力するためのニューラルネットワークの堅牢性を証明するための鍵となる尺度である。 リプシッツ定数を推定する標準的な手法は、ネットワークサイズに劣る大きな行列半定プログラム(SDP)を解くことである。 本稿では,ディープフィードフォワードニューラルネットワークに対するタイトでスケーラブルなリプシッツ推定を行う合成フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.752559512511423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Lipschitz constant is a key measure for certifying the robustness of neural networks to input perturbations. However, computing the exact constant is NP-hard, and standard approaches to estimate the Lipschitz constant involve solving a large matrix semidefinite program (SDP) that scales poorly with network size. Further, there is a potential to efficiently leverage local information on the input region to provide tighter Lipschitz estimates. We address this problem here by proposing a compositional framework that yields tight yet scalable Lipschitz estimates for deep feedforward neural networks. Specifically, we begin by developing a generalized SDP framework that is highly flexible, accommodating heterogeneous activation function slope, and allowing Lipschitz estimates with respect to arbitrary input-output pairs and arbitrary choices of sub-networks of consecutive layers. We then decompose this generalized SDP into a sequence of small sub-problems, with computational complexity that scales linearly with respect to the network depth. We also develop a variant that achieves near-instantaneous computation through closed-form solutions to each sub-problem. All our algorithms are accompanied by theoretical guarantees on feasibility and validity. Next, we develop a series of algorithms, termed as ECLipsE-Gen-Local, that effectively incorporate local information on the input. Our experiments demonstrate that our algorithms achieve substantial speedups over a multitude of benchmarks while producing significantly tighter Lipschitz bounds than global approaches. Moreover, we show that our algorithms provide strict upper bounds for the Lipschitz constant with values approaching the exact Jacobian from autodiff when the input region is small enough. Finally, we demonstrate the practical utility of our approach by showing that our Lipschitz estimates closely align with network robustness.
• Abstract（参考訳）: リプシッツ定数は、摂動を入力するためのニューラルネットワークの堅牢性を証明するための鍵となる尺度である。 しかし、正確な定数の計算はNPハードであり、リプシッツ定数を推定する標準的な手法は、ネットワークサイズに劣る大きな行列半定プログラム(SDP)を解くことである。 さらに、入力領域の局所情報を効率的に活用して、より厳密なリプシッツ推定を提供する可能性がある。 ここでは、深いフィードフォワードニューラルネットワークに対して、厳密でスケーラブルなリプシッツ推定を生成する構成フレームワークを提案する。 具体的には、高フレキシブルで、不均一なアクティベーション関数傾斜を調節し、任意の入出力対と連続層のサブネットワークの任意の選択に関してリプシッツ推定を可能にする一般化されたSDPフレームワークの開発から始める。 次に、この一般化されたSDPを、ネットワーク深さに対して線形にスケールする計算複雑性を持つ、小さなサブプロブレムの列に分解する。 また,各サブプロブレムに対する閉形式解を用いて,ほぼ瞬時に計算できる変種を開発した。 全てのアルゴリズムには、実現可能性と妥当性に関する理論的保証が伴っている。 次に,ECLipsE-Gen-Localと呼ばれる一連のアルゴリズムを開発し,入力のローカル情報を効果的に組み込む。 実験により,我々のアルゴリズムは,大域的アプローチよりもはるかに厳密なリプシッツバウンドを生成するとともに,多数のベンチマークで大幅な高速化を実現していることが示された。 さらに,本アルゴリズムは,入力領域が十分小さい場合に,正確なヤコビアンをオートディフからアプローチする値で,リプシッツ定数に対して厳密な上限を与えることを示した。 最後に、我々のリプシッツ推定がネットワークの堅牢性と密接に一致していることを示し、我々のアプローチの実用性を実証する。

関連論文リスト

• ECLipsE: Efficient Compositional Lipschitz Constant Estimation for Deep Neural Networks [0.8993153817914281]
  リプシッツ定数は、入力摂動に対するニューラルネットワークの堅牢性を証明する上で重要な役割を果たす。 リプシッツ定数の厳密な上界を得る努力がなされている。 ディープフィードフォワードニューラルネットワークに対するリプシッツ定数を推定するための構成的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-05T19:36:26Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• LipBaB: Computing exact Lipschitz constant of ReLU networks [0.0]
  LipBaBは、ディープニューラルネットワークのローカルLipschitz定数の認定境界を計算するためのフレームワークです。 このアルゴリズムは任意の p-ノルムに対するリプシッツ定数の正確な計算を提供することができる。
  論文  参考訳（メタデータ） (2021-05-12T08:06:11Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Lipschitz constant estimation of Neural Networks via sparse polynomial optimization [47.596834444042685]
  LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。 ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。 ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
  論文  参考訳（メタデータ） (2020-04-18T18:55:02Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。