論文の概要: Optimizing Objective Functions from Trained ReLU Neural Networks via
Sampling
- arxiv url: http://arxiv.org/abs/2205.14189v1
- Date: Fri, 27 May 2022 18:35:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 15:28:55.020583
- Title: Optimizing Objective Functions from Trained ReLU Neural Networks via
Sampling
- Title（参考訳）: サンプリングによる訓練されたreluニューラルネットワークの目的関数の最適化
- Authors: Georgia Perakis and Asterios Tsiourvas
- Abstract要約: 本稿では、ReLUアクティベーションを用いたトレーニングニューラルネットワークを最適化する、スケーラブルでサンプリングベースのアルゴリズムを提案する。
本稿ではまず,ReLUニューラルネットワークのピースワイズ線形構造を利用した反復アルゴリズムを提案する。
次に、各反復で計算されたLPソリューションの近傍を探索することで、このアプローチを拡張します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces scalable, sampling-based algorithms that optimize
trained neural networks with ReLU activations. We first propose an iterative
algorithm that takes advantage of the piecewise linear structure of ReLU neural
networks and reduces the initial mixed-integer optimization problem (MIP) into
multiple easy-to-solve linear optimization problems (LPs) through sampling.
Subsequently, we extend this approach by searching around the neighborhood of
the LP solution computed at each iteration. This scheme allows us to devise a
second, enhanced algorithm that reduces the initial MIP problem into smaller,
easier-to-solve MIPs. We analytically show the convergence of the methods and
we provide a sample complexity guarantee. We also validate the performance of
our algorithms by comparing them against state-of-the-art MIP-based methods.
Finally, we show computationally how the sampling algorithms can be used
effectively to warm-start MIP-based methods.
- Abstract（参考訳）: 本稿では、ReLUアクティベーションを用いたトレーニングニューラルネットワークを最適化するスケーラブルなサンプリングベースアルゴリズムを提案する。
まず,reluニューラルネットワークの分割線形構造を生かした反復アルゴリズムを提案し,サンプリングにより初期混合整数最適化問題 (mip) を複数の解き易い線形最適化問題 (lps) に還元する。
その後、各反復で計算されたLP解の近傍を探索することにより、このアプローチを拡張した。
この手法により、初期MIP問題をより小さく簡単に解けるMIPに還元する2番目の拡張アルゴリズムを考案できる。
手法の収束を解析的に示し,サンプル複雑性の保証を提供する。
また、最先端のMIP手法と比較することにより、アルゴリズムの性能を検証する。
最後に, サンプリングアルゴリズムを, MIP ベースの手法のウォームスタートに効果的に利用する方法を示す。
関連論文リスト
- A Learned Proximal Alternating Minimization Algorithm and Its Induced Network for a Class of Two-block Nonconvex and Nonsmooth Optimization [4.975853671529418]
本研究では,学習可能な2ブロック非平滑問題の解法として,一般学習型交互最小化アルゴリズムLPAMを提案する。
提案するLPAM-netはパラメータ効率が高く,いくつかの最先端手法と比較して良好な性能を示す。
論文 参考訳（メタデータ） (2024-11-10T02:02:32Z) - Quantum-Based Feature Selection for Multi-classification Problem in
Complex Systems with Edge Computing [15.894122816099133]
マルチクラス化問題,すなわちQReliefFに対する量子ベースの特徴選択アルゴリズムを提案する。
我々のアルゴリズムは、O(M) から O(sqrt(M)) への複雑さを減らし、最も近い隣人を見つけるのに優れている。
論文 参考訳（メタデータ） (2023-10-01T03:57:13Z) - Unfolded proximal neural networks for robust image Gaussian denoising [7.018591019975253]
本稿では,二元FBと二元Chambolle-Pockアルゴリズムの両方に基づいて,ガウス分母タスクのためのPNNを統一的に構築するフレームワークを提案する。
また、これらのアルゴリズムの高速化により、関連するNN層におけるスキップ接続が可能であることを示す。
論文 参考訳（メタデータ） (2023-08-06T15:32:16Z) - Composite Optimization Algorithms for Sigmoid Networks [3.160070867400839]
線形化近位アルゴリズムと乗算器の交互方向に基づく合成最適化アルゴリズムを提案する。
フランク関数のフィッティングに関する数値実験により、提案アルゴリズムは十分堅牢に機能することを示した。
論文 参考訳（メタデータ） (2023-03-01T15:30:29Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - An Empirical Evaluation of Posterior Sampling for Constrained
Reinforcement Learning [7.3449418475577595]
制約付き強化学習における効率的な探索のための後方サンプリング手法について検討する。
統計的により効率的で、実装が簡単で、計算コストが安い2つの単純なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-08T06:52:49Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳（メタデータ） (2020-09-28T15:22:24Z) - Accelerated Message Passing for Entropy-Regularized MAP Inference [89.15658822319928]
離散値のランダムフィールドにおけるMAP推論の最大化は、機械学習の基本的な問題である。
この問題の難しさから、特殊メッセージパッシングアルゴリズムの導出には線形プログラミング(LP)緩和が一般的である。
古典的加速勾配の根底にある手法を活用することにより,これらのアルゴリズムを高速化するランダム化手法を提案する。
論文 参考訳（メタデータ） (2020-07-01T18:43:32Z) - Nearly Linear Row Sampling Algorithm for Quantile Regression [54.75919082407094]
データの次元にほぼ線形なサンプル複雑性を持つ量子化損失関数の行サンプリングアルゴリズムを提案する。
行サンプリングアルゴリズムに基づいて、量子レグレッションの最も高速なアルゴリズムと、バランスの取れた有向グラフのグラフスペーシフィケーションアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-15T13:40:07Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z) - Channel Assignment in Uplink Wireless Communication using Machine
Learning Approach [54.012791474906514]
本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。
我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。
計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
論文 参考訳（メタデータ） (2020-01-12T15:54:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。