論文の概要: Expressiveness of Multi-Neuron Convex Relaxations in Neural Network Certification

• arxiv url: http://arxiv.org/abs/2410.06816v3
• Date: Thu, 25 Sep 2025 13:51:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 18:43:23.212274
• Title: Expressiveness of Multi-Neuron Convex Relaxations in Neural Network Certification
• Title（参考訳）: ニューラルネットワーク認証におけるマルチニューロン凸緩和の表現性
• Authors: Yuhao Mao, Yani Zhang, Martin Vechev,
• Abstract要約: 本稿では, マルチニューロン緩和の表現性について, 厳密な分析を行った。 有限個のニューロンと最適層を捉えるのに十分な資源を割り当てた場合でも、それらが本質的に不完全であることを示す。 本研究は, マルチニューロン緩和の基礎を築き, 信頼性の高いロバスト性を示す新たな方向を示すものである。
• 参考スコア（独自算出の注目度）: 5.05356759900008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network certification methods heavily rely on convex relaxations to provide robustness guarantees. However, these relaxations are often imprecise: even the most accurate single-neuron relaxation is incomplete for general ReLU networks, a limitation known as the \emph{single-neuron convex barrier}. While multi-neuron relaxations have been heuristically applied to address this issue, two central questions arise: (i) whether they overcome the convex barrier, and if not, (ii) whether they offer theoretical capabilities beyond those of single-neuron relaxations. In this work, we present the first rigorous analysis of the expressiveness of multi-neuron relaxations. Perhaps surprisingly, we show that they are inherently incomplete, even when allocated sufficient resources to capture finitely many neurons and layers optimally. This result extends the single-neuron barrier to a \textit{universal convex barrier} for neural network certification. On the positive side, we show that completeness can be achieved by either (i) augmenting the network with a polynomial number of carefully designed ReLU neurons or (ii) partitioning the input domain into convex sub-polytopes, thereby distinguishing multi-neuron relaxations from single-neuron ones which are unable to realize the former and have worse partition complexity for the latter. Our findings establish a foundation for multi-neuron relaxations and point to new directions for certified robustness, including training methods tailored to multi-neuron relaxations and verification methods with multi-neuron relaxations as the main subroutine.
• Abstract（参考訳）: ニューラルネットワークの認証方法は、堅牢性を保証するために凸緩和に大きく依存している。 しかし、これらの緩和はしばしば不正確であり、最も正確な単一ニューロン緩和でさえ一般の ReLU ネットワークでは不完全であり、この制限は \emph{single-neuron convex barrier} として知られている。 この問題に対処するために、マルチニューロン緩和がヒューリスティックに適用されているが、2つの中心的な疑問が生じる。 i)凸障壁を克服するか否か、そうでないか否か (二)単一ニューロン緩和以上の理論能力を提供するか否か。 本研究では,マルチニューロン緩和の表現性について,初めて厳密な分析を行った。 意外なことに、それらが本質的に不完全であることは、有限個のニューロンや層を最適に捉えるのに十分なリソースを割り当てたとしても明らかである。 この結果は、単一ニューロンバリアをニューラルネットワーク認証のための‘textit{universal convex barrier}’に拡張する。 正の面では、完全性はいずれかによって達成できることを示す。 一 慎重に設計されたReLUニューロンの多項式数でネットワークを増強すること。 二 入力領域を凸サブポリトープに分割することにより、前者を実現することができず、後者にとってより悪い分割複雑性を有する単一ニューロンとの多重ニューロン緩和を区別する。 本研究は, マルチニューロン緩和の基盤を確立し, マルチニューロン緩和に適したトレーニング方法や, マルチニューロン緩和を主軸とした検証方法など, 信頼性の高いロバスト性を示す新たな方向を示す。

関連論文リスト

• NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [68.89389652724378]
  NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。 内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。 NOBLEは、実際の実験データに基づいて検証された最初のスケールアップされたディープラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-06-05T01:01:18Z)
• NeuronSeek: On Stability and Expressivity of Task-driven Neurons [19.773883759021764]
  プロトタイピングタスク駆動ニューロン(NeuronSeekと呼ばれる)は、最適なニューロンの定式化を発見するためにシンボリックレグレッション(SR)を用いる。 この研究は、最適な神経細胞の定式化を発見するために、シンボリック回帰をテンソル分解(TD)に置き換える。 我々は,任意の連続関数を任意に小さな誤差で近似するために,共通のアクティベーション関数でアグリゲーション関数を変更することで,パラメータの固定数のネットワークを拡張できることを理論的に保証する。
  論文  参考訳（メタデータ） (2025-06-01T01:36:27Z)
• Convex Formulations for Training Two-Layer ReLU Neural Networks [21.88871868680998]
  非層NPハード最適化問題は、機械学習モデルにとって不可欠である。 有限幅2つのニューラルネットワークで解ける半定緩和を導入する。
  論文  参考訳（メタデータ） (2024-10-29T17:53:15Z)
• Shallow ReLU neural networks and finite elements [1.3597551064547502]
  凸ポリトープメッシュ上の一方向線形関数は、弱い意味で2層ReLUニューラルネットワークで表現できることを示す。 弱い表現に必要な2つの隠れた層のニューロンの数は、このメッシュに関わるポリトープと超平面の数に基づいて正確に与えられる。
  論文  参考訳（メタデータ） (2024-03-09T06:12:06Z)
• Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
  ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。 このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。 提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-01-25T09:23:31Z)
• Expressivity of ReLU-Networks under Convex Relaxations [7.043624904936254]
  我々は、ReLUネットワークのすべての一般的な凸緩和における表現力に関する、最初の詳細な研究を行う。 i) より高度な緩和により、より大きなユニバリケート関数を正確に解析可能なReLUネットワークとして表現することができ、(ii) より正確な緩和により、同じ関数を符号化したReLUネットワークの指数的に大きい解空間が得られ、(iii) 最も正確な単一ニューロン緩和を用いても、正確に解析可能なReLUネットワークを構築することは不可能である。
  論文  参考訳（メタデータ） (2023-11-07T14:14:15Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Complete Verification via Multi-Neuron Relaxation Guided Branch-and-Bound [2.896192909215469]
  両パラダイムの強みを組み合わせた新しい完全検証器を提案する。 BaBプロセス中に生成されるサブプロブレムの数を劇的に減少させるために、マルチニューロン緩和を用いる。 評価の結果,既存のベンチマークと,従来考えられていたよりもはるかに高い精度のネットワークにおいて,検証が新たな最先端性を達成できることが確認された。
  論文  参考訳（メタデータ） (2022-04-30T13:12:33Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• A Primer on Multi-Neuron Relaxation-based Adversarial Robustness Certification [6.71471794387473]
  敵対的な例は、ディープニューラルネットワークが現実世界に展開されるときに、本当に危険をもたらす。 本研究では,緩和に基づくロバスト性認証手法を記述するために,統一的な数学的枠組みを開発する。
  論文  参考訳（メタデータ） (2021-06-06T11:59:27Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification [11.10637926254491]
  我々は,ReLUニューロンに対する新たな凸緩和法により,伝搬最適化と線形最適化に基づくニューラルネットワーク検証アルゴリズムの有効性を向上する。 ニューラルネットワーク検証のための2時間アルゴリズムを設計する。リラクゼーションのフルパワーを活用する線形プログラミングベースのアルゴリズムと、既存のアプローチを一般化する高速な伝搬アルゴリズムである。
  論文  参考訳（メタデータ） (2020-06-24T22:16:58Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers [72.56180590447835]
  凸緩和は、ノルムバウンドの敵攻撃に対するトレーニングとニューラルネットワークの認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。 非正規化ベースラインよりも高い精度でトレーニング可能なニューラルネットワークのトレーニングに使用できる2つの実験を提案する。
  論文  参考訳（メタデータ） (2020-02-22T20:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。