論文の概要: Optimization Over Trained Neural Networks: Taking a Relaxing Walk

• arxiv url: http://arxiv.org/abs/2401.03451v1
• Date: Sun, 7 Jan 2024 11:15:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 18:48:13.127558
• Title: Optimization Over Trained Neural Networks: Taking a Relaxing Walk
• Title（参考訳）: トレーニングされたニューラルネットワークによる最適化: リラックスした散歩
• Authors: Jiatai Tong and Junyang Cai and Thiago Serra
• Abstract要約: ニューラルネットワークモデルの大域的および局所的線形緩和を探索し,よりスケーラブルな解法を提案する。 我々の解法は最先端のMILP解法と競合し、それ以前には入力、深さ、ニューロン数の増加によるより良い解法を導出する。
• 参考スコア（独自算出の注目度）: 4.517039147450688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Besides training, mathematical optimization is also used in deep learning to model and solve formulations over trained neural networks for purposes such as verification, compression, and optimization with learned constraints. However, solving these formulations soon becomes difficult as the network size grows due to the weak linear relaxation and dense constraint matrix. We have seen improvements in recent years with cutting plane algorithms, reformulations, and an heuristic based on Mixed-Integer Linear Programming (MILP). In this work, we propose a more scalable heuristic based on exploring global and local linear relaxations of the neural network model. Our heuristic is competitive with a state-of-the-art MILP solver and the prior heuristic while producing better solutions with increases in input, depth, and number of neurons.
• Abstract（参考訳）: トレーニングに加えて、数学の最適化は、学習された制約による検証、圧縮、最適化などの目的のために、トレーニングされたニューラルネットワーク上での定式化をモデル化し、解決するために、ディープラーニングでも使用される。 しかし, 弱線形緩和と密集した制約行列によりネットワークサイズが大きくなると, これらの定式化の解決はすぐに困難になる。 近年, 切削平面アルゴリズム, 修正, 混合整数線形計画法(MILP)に基づくヒューリスティックが改良されている。 本研究では,ニューラルネットワークモデルの大域的および局所的線形緩和を探索し,よりスケーラブルなヒューリスティックを提案する。 我々のヒューリスティックは、最先端MILPソルバと先行ヒューリスティックと競合し、入力、深さ、ニューロン数の増加によるより良い解を生成する。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• Computational Tradeoffs of Optimization-Based Bound Tightening in ReLU Networks [4.01907644010256]
  ニューラルネットワークをRectified Linear Unit(ReLU)アクティベーションで表現するMILP(Mixed-Integer Linear Programming)モデルは、ここ10年で急速に普及している。 これにより、MILP技術を用いて、テストまたはストレス・サービヘイビアを行い、トレーニングを逆向きに改善し、予測力を活かした最適化モデルに組み込むことが可能になった。 ネットワーク構造、正規化、ラウンドリングの影響に基づき、これらのモデルを実装するためのガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-12-27T19:32:59Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Mixed-Integer Optimisation of Graph Neural Networks for Computer-Aided Molecular Design [4.593587844188084]
  ReLUニューラルネットワークは、混合整数線形プログラミング(MILP)の制約としてモデル化されている。 本稿では、ReLUグラフ畳み込みニューラルネットワークの定式化と、ReLUグラフSAGEモデルのMILP定式化を提案する。 これらの定式化により、グローバルな最適性に埋め込まれた訓練されたGNNで最適化問題を解くことができる。
  論文  参考訳（メタデータ） (2023-12-02T21:10:18Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
  入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-16T20:43:49Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Lossless Compression of Deep Neural Networks [17.753357839478575]
  ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。 モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。 生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-01-01T15:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。