論文の概要: Optimization over Trained (and Sparse) Neural Networks: A Surrogate within a Surrogate

• arxiv url: http://arxiv.org/abs/2505.01985v1
• Date: Sun, 04 May 2025 04:49:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.36566
• Title: Optimization over Trained (and Sparse) Neural Networks: A Surrogate within a Surrogate
• Title（参考訳）: 訓練(およびスパース)ニューラルネットワークの最適化:サロゲート内のサロゲート
• Authors: Hung Pham, Aiden Ren, Ibrahim Tahir, Jiatai Tong, Thiago Serra,
• Abstract要約: ニューラルネットワーク自体のサロゲートを生成するために、ネットワークプルーニングを使用します。 分類性能の悪い刈り取られたネットワークは、それでも良い(そしてより効率的な)サロゲートであることを示す。
• 参考スコア（独自算出の注目度）: 5.718611740982005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We can approximate a constraint or an objective function that is uncertain or nonlinear with a neural network that we embed in the optimization model. This approach, which is known as constraint learning, faces the challenge that optimization models with neural network surrogates are harder to solve. Such difficulties have motivated studies on model reformulation, specialized optimization algorithms, and - to a lesser extent - pruning of the embedded networks. In this work, we double down on the use of surrogates by applying network pruning to produce a surrogate of the neural network itself. In the context of using a Mixed-Integer Linear Programming (MILP) solver to verify neural networks, we obtained faster adversarial perturbations for dense neural networks by using sparse surrogates, especially - and surprisingly - if not taking the time to finetune the sparse network to make up for the loss in accuracy. In other words, we show that a pruned network with bad classification performance can still be a good - and more efficient - surrogate.
• Abstract（参考訳）: 最適化モデルに埋め込まれたニューラルネットワークに対して、不確実あるいは非線形な制約や目的関数を近似することができる。 このアプローチは制約学習として知られているが、ニューラルネットワークサロゲートによる最適化モデルは解決が難しいという課題に直面している。 このような困難は、モデル再構成、特殊最適化アルゴリズム、組込みネットワークのプルーニングの研究を動機付けている。 本研究では,ニューラルネットワーク自体のサロゲートを生成するためにネットワークプルーニングを適用することにより,サロゲートの利用を2倍にする。 ニューラルネットワークの検証にMILP(Mixed-Integer Linear Programming)ソルバを用いることで,特にスパースサロゲートを用いて,精度の低下を補うためにスパースネットワークの微調整に時間がかからなければ,より高速な対向摂動が得られた。 言い換えれば、分類性能の悪い刈り込みネットワークは、それでも良い-そしてより効率的な-サロゲートであることが示される。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Optimization Over Trained Neural Networks: Taking a Relaxing Walk [4.517039147450688]
  ニューラルネットワークモデルの大域的および局所的線形緩和を探索し,よりスケーラブルな解法を提案する。 我々の解法は最先端のMILP解法と競合し、それ以前には入力、深さ、ニューロン数の増加によるより良い解法を導出する。
  論文  参考訳（メタデータ） (2024-01-07T11:15:00Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• A Sparse Coding Interpretation of Neural Networks and Theoretical Implications [0.0]
  深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。 本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。 正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
  論文  参考訳（メタデータ） (2021-08-14T21:54:47Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Lossless Compression of Deep Neural Networks [17.753357839478575]
  ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。 モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。 生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-01-01T15:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。