論文の概要: Lipschitz-aware Linearity Grafting for Certified Robustness

• arxiv url: http://arxiv.org/abs/2510.25130v1
• Date: Wed, 29 Oct 2025 03:19:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.997754
• Title: Lipschitz-aware Linearity Grafting for Certified Robustness
• Title（参考訳）: 認証ロバストネスのためのリプシッツ対応リニアリティグラフト
• Authors: Yongjin Han, Suhyun Kim,
• Abstract要約: リプシッツ定数は証明された堅牢性の基本的な性質である。 推定誤差は、厳密な局所リプシッツ定数を得る能力を妨げている。 本稿では,近似誤差を除去するリプシッツ対応線形性グラフト法を提案する。
• 参考スコア（独自算出の注目度）: 8.476993851914536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lipschitz constant is a fundamental property in certified robustness, as smaller values imply robustness to adversarial examples when a model is confident in its prediction. However, identifying the worst-case adversarial examples is known to be an NP-complete problem. Although over-approximation methods have shown success in neural network verification to address this challenge, reducing approximation errors remains a significant obstacle. Furthermore, these approximation errors hinder the ability to obtain tight local Lipschitz constants, which are crucial for certified robustness. Originally, grafting linearity into non-linear activation functions was proposed to reduce the number of unstable neurons, enabling scalable and complete verification. However, no prior theoretical analysis has explained how linearity grafting improves certified robustness. We instead consider linearity grafting primarily as a means of eliminating approximation errors rather than reducing the number of unstable neurons, since linear functions do not require relaxation. In this paper, we provide two theoretical contributions: 1) why linearity grafting improves certified robustness through the lens of the $l_\infty$ local Lipschitz constant, and 2) grafting linearity into non-linear activation functions, the dominant source of approximation errors, yields a tighter local Lipschitz constant. Based on these theoretical contributions, we propose a Lipschitz-aware linearity grafting method that removes dominant approximation errors, which are crucial for tightening the local Lipschitz constant, thereby improving certified robustness, even without certified training. Our extensive experiments demonstrate that grafting linearity into these influential activations tightens the $l_\infty$ local Lipschitz constant and enhances certified robustness.
• Abstract（参考訳）: リプシッツ定数(Lipschitz constant)は、モデルがその予測に自信を持つ場合、より小さな値が敵の例に対して堅牢であることを示すため、証明されたロバスト性において基本的な性質である。 しかし、最悪の逆数例を特定することはNP完全問題であることが知られている。 過剰近似法はこの課題に対処するためにニューラルネットワークの検証に成功したが、近似誤差を減らすことは大きな障害である。 さらに、これらの近似誤差は、厳密な局所リプシッツ定数を得る能力を妨げる。 もともと、不安定なニューロンの数を減らし、スケーラブルで完全な検証を可能にするために、非線形活性化関数への移植線形性が提案された。 しかし、線形性移植が証明されたロバスト性をどのように改善するかは、これまでの理論的分析では説明されていない。 線形性グラフトは、線形関数が緩和を必要としないため、不安定なニューロンの数を減らすのではなく、近似誤差を除去する手段として主に考えられている。 本稿では,2つの理論的貢献について述べる。 1) 線形性グラフトが$l_\infty$局所リプシッツ定数のレンズを通して証明されたロバスト性を改善するのはなぜか。 2) 近似誤差の主原因である非線形活性化関数に線形性をグラフトすると、より厳密な局所リプシッツ定数が得られる。 これらの理論的貢献に基づき, 局所リプシッツ定数の厳密化に不可欠な近似誤差を除去し, 認定トレーニングを伴わずとも, 証明された堅牢性を向上するLipschitz-aware linearity grafting法を提案する。 我々の広範な実験により、これらの活性化に対するグラフト線形性は、$l_\infty$局所リプシッツ定数を締め付け、証明されたロバスト性を高めることが示されている。

関連論文リスト

• Policy Verification in Stochastic Dynamical Systems Using Logarithmic Neural Certificates [7.9898826915621965]
  我々は、リーチエイド仕様に関する離散時間システムに対するニューラルネットワークポリシーの検証について検討する。 このような検証タスクに対する既存のアプローチは、ニューラルネットワークの計算済みリプシッツ定数に依存している。 我々は既存のアプローチよりも小さなリプシッツ定数を得るための2つの重要な貢献を提示する。
  論文  参考訳（メタデータ） (2024-06-02T18:19:19Z)
• Promoting Fairness in GNNs: A Characterization of Stability [14.205512681033492]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータで動作する。 以前の研究では、GNNリプシッツ境界が安定化モデル出力に光を放つことが研究されていない。
  論文  参考訳（メタデータ） (2023-09-07T11:29:16Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
  一次元回帰問題に対する連続領域定式化を提案する。 リプシッツ定数をユーザ定義上界を用いて明示的に制御する。 いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
  論文  参考訳（メタデータ） (2021-12-27T07:03:43Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。