論文の概要: Sparse Sum-of-Squares Layers for Certified Learning

• arxiv url: http://arxiv.org/abs/2610.34590v1
• Date: Sun, 25 Oct 2026 21:43:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.641873
• Title: Sparse Sum-of-Squares Layers for Certified Learning
• Title（参考訳）: Sparse Sum-of-Squares Layers for Certified Learning
• Abstract要約: SOS(Sum-of-squares)法は半有限計画法(SDP)により連続領域上の不等式を証明し保証する。 本稿では,前処理の局所座標を逆パスで再利用するSparse SOS Layerを提案する。 従来の手法と比較して,本手法は総ウォームコール時間の2.7倍の高速化を実現し,メモリ使用量も100倍近く減少した。
• 参考スコア（独自算出の注目度）: 6.247735279234965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central limitation of modern machine learning systems is the lack of formal certificates guaranteeing their behavior beyond empirical, sample-based evaluation. Sum-of-squares (SOS) methods provide such guarantees by certifying polynomial inequalities over continuous domains via semidefinite programming (SDP). While prior work has introduced SDP layers as differentiable components in neural networks, repeated learning calls can lose the computational benefit of the forward program's sparse representation. We propose Sparse SOS Layers, differentiable value layers whose backward passes reuse the local coordinates of the forward solve. Under a fixed template and learned objective coefficients, each layer avoids building dense certificates and reuses its sparse structure across training steps. Compared with existing methods, our approach achieves up to 2.7 times speedup in total warm-call time, with nearly 100 times lower memory usage (1.7 vs. 160 GiB) for relatively large problem sizes for the tested dense parameterization. Experiments cover sparse polynomial certification, pendulum control, combinatorial relaxations, robotics projection, oscillator chains, and pose graph synchronization. A design study achieves zero certified violations across unseen problem instances and sizes, while requiring roughly 7 times fewer optimization solves than estimating gradients by perturbing the objective coefficients and re-solving the problem (finite differences). These results show that sparse certificate values can be effectively integrated into learning pipelines when the backward pass respects the verifier's structure.
• Abstract（参考訳）: 現代の機械学習システムの中心的な制限は、実験的なサンプルベースの評価以上の振る舞いを保証する正式な証明書がないことである。 SOS(Sum-of-squares)法は、半有限計画法(SDP)により連続領域上の多項式不等式を証明し、そのような保証を提供する。 これまでの作業では、ニューラルネットワークの微分可能なコンポーネントとしてSDPレイヤが導入されていたが、繰り返し学習コールは、前方プログラムのスパース表現の計算上のメリットを失う可能性がある。 本稿では,前処理の局所座標を逆パスで再利用するSparse SOS Layerを提案する。 固定テンプレートと学習対象係数の下では、各レイヤは密な証明書の構築を避け、トレーニングステップ全体でスパース構造を再利用する。 従来の手法と比較すると,本手法は全ウォームコール時間において最大2.7倍の高速化を実現し,100倍近いメモリ使用率 (1.7 vs. 160 GiB) をテストされた高密度パラメータ化の比較的大きな問題サイズに適用した。 実験はスパース多項式認証、振り子制御、組合せ緩和、ロボットプロジェクション、発振器チェーン、グラフ同期をカバーしている。 設計研究では、未確認の問題インスタンスとサイズにまたがる認証違反をゼロとし、目標係数を摂動させ、問題を解き直すことで勾配を推定するよりも、約7倍の最適化を必要とする。 これらの結果から,後進パスが検証者の構造を尊重する場合,スパース証明値を学習パイプラインに効果的に統合できることが示唆された。

関連論文リスト

• Replacement Learning: Training Neural Networks with Fewer Parameters [15.09968642484538]
  Replacement Learning (RepL) は、選択したブロックを置き換えることで、完全な冗長性を減らす訓練時間パラダイムである。 RepLは、不要なフルレイヤを避けながら、局所的なコンテキスト連続性を維持する。 RepLはトレーニング可能なパラメータ、GPUメモリ使用量、トレーニング時間を削減し、標準のエンドツーエンドトレーニングを適合または超過することを示す。
  論文  参考訳（メタデータ） (2026-05-19T08:34:31Z)
• The Normalized Difference Layer: A Differentiable Spectral Index Formulation for Deep Learning [0.5131152350448098]
  ニューラルネットモジュールである正規化差分層を導入する。 我々はこの層をディープラーニングアーキテクチャに統合するための完全な数学的枠組みを提案する。 実験により、この層を用いたモデルが標準多層パーセプトロンと同様の分類精度に達することが示された。
  論文  参考訳（メタデータ） (2026-01-11T05:03:01Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• QGait: Toward Accurate Quantization for Gait Recognition with Binarized Input [17.017127559393398]
  バックプロパゲーション時の円関数の勾配をよりよくシミュレートする,微分可能なソフト量子化器を提案する。 これにより、ネットワークは微妙な入力摂動から学習することができる。 量子化エラーをシミュレートしながら収束を確保するためのトレーニング戦略をさらに洗練する。
  論文  参考訳（メタデータ） (2024-05-22T17:34:18Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• A Communication-Efficient Distributed Gradient Clipping Algorithm for Training Deep Neural Networks [11.461878019780597]
  グラディエントDescentは、ディープニューラルネットワークにおいてゆっくりと収束する。 勾配クリッピング方式が並列スピードアップを楽しむために複数のマシンを活用できるかどうかは謎のままである。
  論文  参考訳（メタデータ） (2022-05-10T16:55:33Z)
• Learning strides in convolutional neural networks [34.20666933112202]
  この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。 音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2022-02-03T16:03:36Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。