論文の概要: Training Mixed-Monotone Neural Networks for Verification Without Set Propagation

• arxiv url: http://arxiv.org/abs/2610.30853v2
• Date: Fri, 23 Oct 2026 19:13:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.175616
• Title: Training Mixed-Monotone Neural Networks for Verification Without Set Propagation
• Title（参考訳）: 集合伝播のない検証のための混合モノトンニューラルネットワークの訓練
• Abstract要約: 混合単調関数を単調波の差分として実現した。 我々はそのような囲いの大きさに対する下界を証明し、代表関数の総変分によって与えられる。 我々のトレーニングでは、予測精度を犠牲にすることなく、囲いサイズを低い境界の0.5%以内に抑えることができる。
• 参考スコア（独自算出の注目度）: 12.337608831870893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most formal verification approaches for neural networks conservatively enclose the output set of the neural network. However, computing a tight output enclosure is in general computationally hard. We sidestep this challenge with a novel neural network architecture that realizes mixed-monotone functions as the difference of monotone subnetworks. By utilizing the theory on mixed-monotone systems, this reduces the computation of a tight output enclosure from complicated set propagation to two simple forward passes of opposite corners of an input interval. Moreover, because the size of the resulting enclosure is a closed-form function of the weights of the neural network, we can directly minimize it during training. We prove a lower bound on the size of any such enclosure, given by the total variation of the represented function generalized to several inputs, which makes it possible to compare the tightness of the enclosure against the optimum. Our evaluation on regression and dynamical-system benchmarks demonstrates that our training reduces the enclosure size to within 0.5% of the lower bound without sacrificing prediction accuracy. Computing our enclosure is orders of magnitude faster than CROWN and $α$-CROWN and on deep networks it is also tighter than zonotope propagation and CROWN, while its size exceeds that of $α$-CROWN by only 5.1%.
• Abstract（参考訳）: ニューラルネットワークのほとんどの形式的検証アプローチは、ニューラルネットワークの出力セットを保守的に囲む。 しかし、厳密な出力囲いの計算は一般に計算が難しい。 我々はこの課題を、モノトンサブネットの差として混合モノトン機能を実現する新しいニューラルネットワークアーキテクチャで解決する。 混合単調系の理論を利用することで、タイトな出力囲いの計算を複雑な集合伝播から入力間隔の反対角の2つの単純な前方通過へ還元する。 さらに、結果として生じる囲いの大きさはニューラルネットワークの重みの閉形式関数であるため、トレーニング中に直接最小化することができる。 いくつかの入力に一般化された表現関数の総変分によって与えられる、そのような囲いの大きさの低い境界を証明し、これにより、囲いの密度を最適値と比較することができる。 回帰および力学系ベンチマークによる評価により, 予測精度を犠牲にすることなく, 囲いサイズを0.5%以下に抑えることができた。 囲いの計算は CROWN や $α$-CROWN よりも桁違いに速く、深層ネットワークでは zonotope の伝播や CROWN よりも厳密である。

関連論文リスト

• Set-Based Training for Neural Network Verification [8.97708612393722]
  小さな入力摂動はニューラルネットワークの出力に大きな影響を与える。 安全クリティカルな環境でのニューラルネットワークの安全性を確保するためには、ニューラルネットワークの堅牢性を検証する必要がある。 本稿では,可能な出力の集合を計算するための,新しいセットベーストレーニング手順を提案する。
  論文  参考訳（メタデータ） (2024-01-26T15:52:41Z)
• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• Provably Bounding Neural Network Preimages [18.810882386083655]
  InVPROPアルゴリズムは線形に制約された出力セットの事前画像上の特性を検証する。 他のアプローチとは対照的に、効率的なアルゴリズムはGPU加速であり、線形プログラミング解決器を必要としない。 その結果, 従来よりも2.5倍速く, 2500倍以上の過近似が得られていることがわかった。
  論文  参考訳（メタデータ） (2023-02-02T20:34:45Z)
• Neural Clamping: Joint Input Perturbation and Temperature Scaling for Neural Network Calibration [62.4971588282174]
  我々はニューラルクランプ法と呼ばれる新しい後処理キャリブレーション法を提案する。 実験の結果,Neural Clampingは最先端の処理後のキャリブレーション法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-23T14:18:39Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Reduced-Order Neural Network Synthesis with Robustness Guarantees [0.0]
  機械学習アルゴリズムは、デバイスがユーザのプライバシを改善し、レイテンシを低減し、エネルギー効率を高めるために、ローカルで実行するように適応されている。 この問題に対処するために、より大きなニューロンの入出力マッピングを近似する低次ニューラルネットワーク(ニューロンが少ない)を自動的に合成する手法を導入する。 この近似誤差に対する最悪の境界が得られ、このアプローチは幅広いニューラルネットワークアーキテクチャに適用することができる。
  論文  参考訳（メタデータ） (2021-02-18T12:03:57Z)
• Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection [21.48875255723581]
  ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。 典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
  論文  参考訳（メタデータ） (2019-12-29T14:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。