論文の概要: A Scalable Approach for Safe and Robust Learning via Lipschitz-Constrained Networks

• arxiv url: http://arxiv.org/abs/2506.23977v1
• Date: Mon, 30 Jun 2025 15:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:54.13497
• Title: A Scalable Approach for Safe and Robust Learning via Lipschitz-Constrained Networks
• Title（参考訳）: リプシッツ制約ネットワークによる安全・ロバスト学習のためのスケーラブルなアプローチ
• Authors: Zain ul Abdeen, Vassilis Kekatos, Ming Jin,
• Abstract要約: ニューラルネットワーク(NN)に対するリプシッツ制約付きグローバルトレーニング制約を提案する。 提案手法により,リプシッツ制約NNの定式化が大幅に改善できることが示唆された。
• 参考スコア（独自算出の注目度）: 2.8960888722909566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Certified robustness is a critical property for deploying neural networks (NN) in safety-critical applications. A principle approach to achieving such guarantees is to constrain the global Lipschitz constant of the network. However, accurate methods for Lipschitz-constrained training often suffer from non-convex formulations and poor scalability due to reliance on global semidefinite programs (SDPs). In this letter, we propose a convex training framework that enforces global Lipschitz constraints via semidefinite relaxation. By reparameterizing the NN using loop transformation, we derive a convex admissibility condition that enables tractable and certifiable training. While the resulting formulation guarantees robustness, its scalability is limited by the size of global SDP. To overcome this, we develop a randomized subspace linear matrix inequalities (RS-LMI) approach that decomposes the global constraints into sketched layerwise constraints projected onto low-dimensional subspaces, yielding a smooth and memory-efficient training objective. Empirical results on MNIST, CIFAR-10, and ImageNet demonstrate that the proposed framework achieves competitive accuracy with significantly improved Lipschitz bounds and runtime performance.
• Abstract（参考訳）: 認証された堅牢性は、安全クリティカルなアプリケーションにニューラルネットワーク(NN)をデプロイする上で重要な特性である。 このような保証を達成するための基本的なアプローチは、ネットワークのグローバルリプシッツ定数を制限することである。 しかし、リプシッツ拘束訓練の正確な方法は、大域半確定プログラム(SDP)に依存するため、非凸式やスケーラビリティの低下に悩まされることが多い。 本稿では,半有限緩和による大域リプシッツ制約を強制する凸トレーニングフレームワークを提案する。 ループ変換を用いてNNを再パラメータ化することにより、トラクタブルで認証可能なトレーニングを可能にする凸許容条件を導出する。 結果として得られる定式化は堅牢性を保証するが、そのスケーラビリティはグローバルSDPのサイズによって制限される。 これを解決するために,低次元部分空間に投影されるスケッチされた階層的制約に大域的制約を分解し,スムーズかつメモリ効率のよい学習目標を導出するランダム化部分空間線形行列不等式 (RS-LMI) 手法を開発した。 MNIST, CIFAR-10, ImageNet の実証的な結果から,提案するフレームワークは,Lipschitz のバウンダリと実行時のパフォーマンスを著しく向上させ, 競争精度を向上することを示した。

関連論文リスト

• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Certified Robustness via Dynamic Margin Maximization and Improved Lipschitz Regularization [40.2635560771494]
  我々は、弱い方向に沿ってモデルのリプシッツ定数を規則化しながら、出力(ロジット)空間のマージンを増大させる頑健なトレーニングアルゴリズムを開発する。 境界の相対的精度は過剰な正規化を防ぎ、決定境界をより直接的に操作することができる。 MNIST, CIFAR-10 および Tiny-ImageNet データセットを用いた実験により,提案アルゴリズムが最先端技術と比較して競争力に向上した結果が得られることを確認した。
  論文  参考訳（メタデータ） (2023-09-29T20:07:02Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。