論文の概要: Linearization of ReLU Activation Function for Neural Network-Embedded Optimization:Optimal Day-Ahead Energy Scheduling

• arxiv url: http://arxiv.org/abs/2310.01758v1
• Date: Tue, 3 Oct 2023 02:47:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 17:56:16.957332
• Title: Linearization of ReLU Activation Function for Neural Network-Embedded Optimization:Optimal Day-Ahead Energy Scheduling
• Title（参考訳）: ニューラルネットワーク組み込み最適化のためのReLU活性化関数の線形化:最適日頭エネルギースケジューリング
• Authors: Cunzhi Zhao and Xingpeng Li
• Abstract要約: 電池劣化ニューラルネットワークに基づくマイクログリッドデイアヘッドエネルギースケジューリングのような応用では、訓練された学習モデルの入力特徴は最適化モデルで解決すべき変数である。 ニューラルネットワークにおける非線形アクティベーション関数の使用は、解けなければそのような問題を極端に解決し難いものにする。 本稿では, 非線形活性化関数を, 広く用いられている整流線形単位(ReLU)関数に着目して線形化する方法について検討した。
• 参考スコア（独自算出の注目度）: 0.2900810893770134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks have been widely applied in the power system area. They can be used for better predicting input information and modeling system performance with increased accuracy. In some applications such as battery degradation neural network-based microgrid day-ahead energy scheduling, the input features of the trained learning model are variables to be solved in optimization models that enforce limits on the output of the same learning model. This will create a neural network-embedded optimization problem; the use of nonlinear activation functions in the neural network will make such problems extremely hard to solve if not unsolvable. To address this emerging challenge, this paper investigated different methods for linearizing the nonlinear activation functions with a particular focus on the widely used rectified linear unit (ReLU) function. Four linearization methods tailored for the ReLU activation function are developed, analyzed and compared in this paper. Each method employs a set of linear constraints to replace the ReLU function, effectively linearizing the optimization problem, which can overcome the computational challenges associated with the nonlinearity of the neural network model. These proposed linearization methods provide valuable tools for effectively solving optimization problems that integrate neural network models with ReLU activation functions.
• Abstract（参考訳）: ニューラルネットワークは電力系統領域に広く適用されている。 入力情報やモデリングシステムの性能をより正確に予測するために使用できる。 電池劣化ニューラルネットワークに基づくマイクログリッドデイアヘッドエネルギースケジューリングのようないくつかのアプリケーションでは、トレーニングされた学習モデルの入力特徴は、同じ学習モデルの出力に制限を課す最適化モデルで解決される変数である。 ニューラルネットワークにおける非線形アクティベーション関数の使用は、解決不可能な場合には、そのような問題を極端に解決し難いものにする。 この課題に対処するため, 非線形活性化関数を線形化するための様々な手法を, 広く用いられている整流線形単位(ReLU)関数に着目して検討した。 本稿では,ReLU活性化関数に適した4つの線形化法を開発し,解析し,比較した。 各手法は線形制約を用いてReLU関数を置換し、最適化問題を効果的に線形化し、ニューラルネットワークモデルの非線形性に関連する計算課題を克服する。 これらの線形化手法は、ニューラルネットワークモデルとReLUアクティベーション関数を統合する最適化問題を効果的に解くための貴重なツールを提供する。

関連論文リスト

• A Novel Explanation Against Linear Neural Networks [1.223779595809275]
  線形回帰とニューラルネットワークは、データをモデル化するために広く使われている。 活性化機能を持たないニューラルネットワーク、あるいは線形ニューラルネットワークは、実際にトレーニングとテストの両方のパフォーマンスを低下させる。 この仮説は,LNNの最適化と厳密なテストにより,雑音のあるデータセット上でのLNNと線形回帰の両方のパフォーマンスを比較して証明する。
  論文  参考訳（メタデータ） (2023-12-30T09:44:51Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Physics Informed Piecewise Linear Neural Networks for Process Optimization [0.0]
  ニューラルネットワークモデルに埋め込まれた最適化問題に対して,物理情報を用いた線形ニューラルネットワークモデルの更新が提案されている。 すべてのケースにおいて、物理インフォームドトレーニングニューラルネットワークに基づく最適結果は、大域的最適性に近い。
  論文  参考訳（メタデータ） (2023-02-02T10:14:54Z)
• Unsupervised Optimal Power Flow Using Graph Neural Networks [172.33624307594158]
  グラフニューラルネットワークを用いて、要求された電力と対応するアロケーションとの間の非線形パラメトリゼーションを学習する。 シミュレーションを通して、この教師なし学習コンテキストにおけるGNNの使用は、標準解法に匹敵するソリューションにつながることを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:30:09Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Unsupervised Reservoir Computing for Solving Ordinary Differential Equations [1.6371837018687636]
  通常の微分方程式(ODE)を満たす近似解を発見することができるエコー状態のリカレントニューラルネットワーク ベイジアン最適化を用いて高次元ハイパーパラメータ空間における最適集合を効率よく発見し、1つの集合がロバストであり、異なる初期条件と時間範囲のODEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-08-25T18:16:42Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• CDiNN -Convex Difference Neural Networks [0.8122270502556374]
  reluアクティベーション関数を持つニューラルネットワークは、普遍関数近似が非スムース関数として関数マッピングを学ぶことが示されている。 ICNNと呼ばれる新しいニューラルネットワークアーキテクチャは、凸入力として出力を学習する。
  論文  参考訳（メタデータ） (2021-03-31T17:31:16Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Optimizing Wireless Systems Using Unsupervised and Reinforced-Unsupervised Deep Learning [96.01176486957226]
  無線ネットワークにおけるリソース割り当てとトランシーバーは、通常最適化問題の解決によって設計される。 本稿では,変数最適化と関数最適化の両問題を解くための教師なし・教師なし学習フレームワークを紹介する。
  論文  参考訳（メタデータ） (2020-01-03T11:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。