論文の概要: LipNeXt: Scaling up Lipschitz-based Certified Robustness to Billion-parameter Models

• arxiv url: http://arxiv.org/abs/2601.18513v1
• Date: Mon, 26 Jan 2026 14:18:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.862325
• Title: LipNeXt: Scaling up Lipschitz-based Certified Robustness to Billion-parameter Models
• Title（参考訳）: LipNeXt: Lipschitzベースの認証ロバストネスを10億パラメータモデルにスケールアップ
• Authors: Kai Hu, Haoqi Hu, Matt Fredrikson,
• Abstract要約: Lipschitzベースの認証は、効率的で決定論的な堅牢性を保証するが、モデルサイズ、トレーニング効率、イメージネットのパフォーマンスのスケールアップに苦労している。 EmphLipNeXtは,最初のEmphconstraint-freeおよびEmphconvolution-free 1-Lipschitzアーキテクチャで,信頼性の高いロバスト性を実現する。
• 参考スコア（独自算出の注目度）: 15.634238824408989
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lipschitz-based certification offers efficient, deterministic robustness guarantees but has struggled to scale in model size, training efficiency, and ImageNet performance. We introduce \emph{LipNeXt}, the first \emph{constraint-free} and \emph{convolution-free} 1-Lipschitz architecture for certified robustness. LipNeXt is built using two techniques: (1) a manifold optimization procedure that updates parameters directly on the orthogonal manifold and (2) a \emph{Spatial Shift Module} to model spatial pattern without convolutions. The full network uses orthogonal projections, spatial shifts, a simple 1-Lipschitz $β$-Abs nonlinearity, and $L_2$ spatial pooling to maintain tight Lipschitz control while enabling expressive feature mixing. Across CIFAR-10/100 and Tiny-ImageNet, LipNeXt achieves state-of-the-art clean and certified robust accuracy (CRA), and on ImageNet it scales to 1-2B large models, improving CRA over prior Lipschitz models (e.g., up to $+8\%$ at $\varepsilon{=}1$) while retaining efficient, stable low-precision training. These results demonstrate that Lipschitz-based certification can benefit from modern scaling trends without sacrificing determinism or efficiency.
• Abstract（参考訳）: Lipschitzベースの認証は、効率的で決定論的な堅牢性を保証するが、モデルサイズ、トレーニング効率、イメージネットのパフォーマンスのスケールアップに苦労している。 証明された堅牢性のために,最初の \emph{constraint-free} アーキテクチャである \emph{LipNeXt} と \emph{convolution-free} 1-Lipschitz アーキテクチャを導入する。 LipNeXt は、(1) 直交多様体上のパラメータを直接更新する多様体最適化手順、(2) 畳み込みのない空間パターンをモデル化するための \emph{Spatial Shift Module} の2つの手法を用いて構築されている。 完全なネットワークは直交射影、空間シフト、単純 1-Lipschitz $β$-Abs 非線形性、空間プール$L_2$ を用いて、表現的特徴混合を可能にしながら、厳密なリプシッツ制御を維持する。 CIFAR-10/100とTiny-ImageNet全体で、LipNeXtは最先端のクリーンで確固たる精度(CRA)を達成し、ImageNetでは1-2Bの大型モデルにスケールし、効率よく安定した低精度トレーニングを維持しながら、以前のリプシッツモデル(例えば、$\varepsilon{=}1$で$+8\%)よりもCRAを改善している。 これらの結果は、リプシッツに基づく認証は、決定論や効率を犠牲にすることなく、現代的なスケーリングトレンドの恩恵を受けることができることを示している。

関連論文リスト

• Certified Robust Models with Slack Control and Large Lipschitz Constants [102.69689641398227]
  本稿では,2つの問題に対処するCalibrated Lipschitz-Margin Loss (CLL)を提案する。 第一に、一般的に使用されるマージン損失は、縮小する出力分布に対する罰則を調整しない。 第二に、$K$の最小化は過度に滑らかな決定関数をもたらす。 我々のCLLは、損失w.r.t.マージンとリプシッツ定数を明示的に調整することでこれらの問題に対処する。
  論文  参考訳（メタデータ） (2023-09-12T12:23:49Z)
• Unlocking Deterministic Robustness Certification on ImageNet [39.439003787779434]
  本稿では,より大規模でより深いモデルに頑健なトレーニングを拡大するための戦略について検討する。 従来のResNetに対するリプシッツ定数のバウンディングの高速な方法が緩やかであることを示し、新しい残差ブロックを設計してこの問題に対処する方法を示す。 私たちはImageNetに高速な決定論的堅牢性保証をスケールアップすることができ、この堅牢性学習へのアプローチが現実世界のアプリケーションに適用可能であることを実証しています。
  論文  参考訳（メタデータ） (2023-01-29T21:40:04Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
  リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-13T22:23:22Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。