Fugu-MT 論文翻訳(概要): Lipschitz verification of neural networks through training

論文の概要: Lipschitz verification of neural networks through training

arxiv url: http://arxiv.org/abs/2603.28113v1
Date: Mon, 30 Mar 2026 07:20:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-31 23:18:45.273213
Title: Lipschitz verification of neural networks through training
Title（参考訳）: トレーニングによるニューラルネットワークのリプシッツ検証
Authors: Simon Kuang, Yuezhu Xu, S. Sivaranjani, Xinfan Lin,
Abstract要約: トレーニング中の自明な拘束力のペナルティ化により, 真のリプシッツ定数を効果的に正則化することを示した。提案手法は,高度な検証のランタイムの複雑さを回避し,高い結果を得る。
参考スコア（独自算出の注目度）: 3.8708566551482537
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The global Lipschitz constant of a neural network governs both adversarial robustness and generalization. Conventional approaches to ``certified training" typically follow a train-then-verify paradigm: they train a network and then attempt to bound its Lipschitz constant. Because the efficient ``trivial bound" (the product of the layerwise Lipschitz constants) is exponentially loose for arbitrary networks, these approaches must rely on computationally expensive techniques such as semidefinite programming, mixed-integer programming, or branch-and-bound. We propose a different paradigm: rather than designing complex verifiers for arbitrary networks, we design networks to be verifiable by the fast trivial bound. We show that directly penalizing the trivial bound during training forces it to become tight, thereby effectively regularizing the true Lipschitz constant. To achieve this, we identify three structural obstructions to a tight trivial bound (dead neurons, bias terms, and ill-conditioned weights) and introduce architectural mitigations, including a novel notion of norm-saturating polyactivations and bias-free sinusoidal layers. Our approach avoids the runtime complexity of advanced verification while achieving strong results: we train robust networks on MNIST with Lipschitz bounds that are small (orders of magnitude lower than comparable works) and tight (within 10% of the ground truth). The experimental results validate the theoretical guarantees, support the proposed mechanisms, and extend empirically to diverse activations and non-Euclidean norms.
Abstract（参考訳）: ニューラルネットワークのグローバルリプシッツ定数は、対向的堅牢性と一般化の両方を支配している。例えば、ネットワークをトレーニングし、そのリプシッツ定数を束縛しようとする。効率的な '`自明なバウンド' (層状リプシッツ定数の積) は任意のネットワークに対して指数関数的にゆるいため、これらのアプローチは半定値プログラミング、混合整数プログラミング、ブランチ・アンド・バウンドといった計算コストの高い技術に頼らなければならない。我々は、任意のネットワークに対して複雑な検証器を設計するのではなく、高速な自明な境界によって検証可能なネットワークを設計する。訓練中, 自明な拘束力を直接ペナルティ化することで, 真のリプシッツ定数を効果的に正則化することを示した。これを実現するために, 強自明な境界(死ニューロン, バイアス項, 不条件重み)に対する3つの構造的障害を同定し, ノルム飽和ポリアクティベーションの新たな概念とバイアスフリー正弦波層を含むアーキテクチャ的緩和を導入する。我々は、Lipschitz境界が小さく(同等の作業よりも桁違いに低い)、きつく(基礎的真実の10%)MNIST上で堅牢なネットワークを訓練する。実験結果は理論的保証を検証し、提案されたメカニズムを支持し、様々な活性化と非ユークリッドノルムに経験的に拡張する。

関連論文リスト

ExLipBaB: Exact Lipschitz Constant Computation for Piecewise Linear Neural Networks [0.0]
リプシッツ定数は、堅牢性を保証するために利用することができる。任意のピースワイド線形ニューラルネットワークに対する正確なリプシッツ定数を計算するために,LipBaBアルゴリズムの一般化を提案する。
論文参考訳（メタデータ） (2026-02-17T11:09:41Z)
Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文参考訳（メタデータ） (2023-05-25T15:32:21Z)
Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
論文参考訳（メタデータ） (2022-10-13T22:23:22Z)
Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
論文参考訳（メタデータ） (2022-10-04T17:55:27Z)
Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文参考訳（メタデータ） (2021-11-02T06:44:10Z)
Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。彼らは不利な姿勢と収束の不安定さに悩まされる。本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文参考訳（メタデータ） (2021-06-06T18:05:02Z)
Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
論文参考訳（メタデータ） (2020-10-05T01:00:40Z)
On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
論文参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。