論文の概要: An analysis of optimization problems involving ReLU neural networks

• arxiv url: http://arxiv.org/abs/2502.03016v1
• Date: Wed, 05 Feb 2025 09:18:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:23:56.827647
• Title: An analysis of optimization problems involving ReLU neural networks
• Title（参考訳）: ReLUニューラルネットワークによる最適化問題の解析
• Authors: Christoph Plate, Mirko Hahn, Alexander Klimek, Caroline Ganzer, Kai Sundmacher, Sebastian Sager,
• Abstract要約: 本研究では,混合整数型プログラミング解法における実行時間挙動の解析と改善手法について検討する。 本論文では,これらの手法を3つのベンチマーク問題に対して数値的に比較する。 主要な出発点として、我々は、しばしば望まれるニューラルネットワークモデルの冗長性と、関連する最適化問題を解決するための計算コストとの間のトレードオフを観察し、定量化する。
• 参考スコア（独自算出の注目度）: 38.258426534664046
• License:
• Abstract: Solving mixed-integer optimization problems with embedded neural networks with ReLU activation functions is challenging. Big-M coefficients that arise in relaxing binary decisions related to these functions grow exponentially with the number of layers. We survey and propose different approaches to analyze and improve the run time behavior of mixed-integer programming solvers in this context. Among them are clipped variants and regularization techniques applied during training as well as optimization-based bound tightening and a novel scaling for given ReLU networks. We numerically compare these approaches for three benchmark problems from the literature. We use the number of linear regions, the percentage of stable neurons, and overall computational effort as indicators. As a major takeaway we observe and quantify a trade-off between the often desired redundancy of neural network models versus the computational costs for solving related optimization problems.
• Abstract（参考訳）: ReLUアクティベーション機能を備えた組み込みニューラルネットワークによる混合整数最適化問題の解決は困難である。 これらの関数に関連する二項決定を緩和する際に生じる大きなM係数は、層の数とともに指数関数的に増加する。 本研究では,この文脈における混合整数型プログラミング解法の実行時間挙動の分析と改善のための異なる手法を探索し,提案する。 その中には、トレーニング中に適用されたクリップ付き変種と正規化技術、最適化ベースのバウンド・タイニング、与えられたReLUネットワークに対する新しいスケーリングなどがある。 本論文では,これらの手法を3つのベンチマーク問題に対して数値的に比較する。 我々は、線形領域の数、安定したニューロンの割合、および全体的な計算努力を指標として利用する。 主要な出発点として、我々は、しばしば望まれるニューラルネットワークモデルの冗長性と、関連する最適化問題を解決するための計算コストとの間のトレードオフを観察し、定量化する。

関連論文リスト

• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Optimization Over Trained Neural Networks: Taking a Relaxing Walk [4.517039147450688]
  ニューラルネットワークモデルの大域的および局所的線形緩和を探索し,よりスケーラブルな解法を提案する。 我々の解法は最先端のMILP解法と競合し、それ以前には入力、深さ、ニューロン数の増加によるより良い解法を導出する。
  論文  参考訳（メタデータ） (2024-01-07T11:15:00Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Modeling Design and Control Problems Involving Neural Network Surrogates [1.1602089225841632]
  ニューラルネットワークで表される代理モデルを含む非線形最適化問題を考察する。 ニューラルネットワーク評価を直接最適化モデルに組み込む方法を示し、収束を防止できるこのアプローチの難しさを強調します。 本稿では、ReLUを活性化したフィードフォワードニューラルネットワークの特定の場合において、これらの問題の2つの別の定式化を提案する。
  論文  参考訳（メタデータ） (2021-11-20T01:09:15Z)
• Neural Network Approximations of Compositional Functions With Applications to Dynamical Systems [3.660098145214465]
  我々は,合成関数とそのニューラルネットワーク近似の近似理論を開発した。 構成関数の重要な特徴の集合と,ニューラルネットワークの特徴と複雑性の関係を同定する。 関数近似に加えて、ニューラルネットワークの誤差上限の式もいくつか証明する。
  論文  参考訳（メタデータ） (2020-12-03T04:40:25Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。