論文の概要: Neural Networks in Evolutionary Dynamic Constrained Optimization:
Computational Cost and Benefits
- arxiv url: http://arxiv.org/abs/2001.11588v1
- Date: Wed, 22 Jan 2020 12:17:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 17:55:50.121073
- Title: Neural Networks in Evolutionary Dynamic Constrained Optimization:
Computational Cost and Benefits
- Title（参考訳）: 進化的動的制約付き最適化におけるニューラルネットワーク:計算コストとメリット
- Authors: Maryam Hasani-Shoreh, Renato Hermoza Aragon\'es, Frank Neumann
- Abstract要約: 本研究では、最適化時間におけるNNのトレーニングに要する時間を反映し、その結果をベースラインEAと比較する。
NNを訓練する主な困難は、1)新しいデータの予測を一般化するための十分なサンプルを取得すること、2)信頼性のあるサンプルを得ることである。
NNは変化頻度の高い環境や短時間の地平線に適さないと結論付けている。
- 参考スコア（独自算出の注目度）: 11.228244128564512
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks (NN) have been recently applied together with evolutionary
algorithms (EAs) to solve dynamic optimization problems. The applied NN
estimates the position of the next optimum based on the previous time best
solutions. After detecting a change, the predicted solution can be employed to
move the EA's population to a promising region of the solution space in order
to accelerate convergence and improve accuracy in tracking the optimum. While
previous works show improvement of the results, they neglect the overhead
created by NN. In this work, we reflect the time spent on training NN in the
optimization time and compare the results with a baseline EA. We explore if by
considering the generated overhead, NN is still able to improve the results,
and under which condition is able to do so.
The main difficulties to train the NN are: 1) to get enough samples to
generalize predictions for new data, and 2) to obtain reliable samples. As NN
needs to collect data at each time step, if the time horizon is short, we will
not be able to collect enough samples to train the NN. To alleviate this, we
propose to consider more individuals on each change to speed up sample
collection in shorter time steps. In environments with a high frequency of
changes, the solutions produced by EA are likely to be far from the real
optimum. Using unreliable train data for the NN will, in consequence, produce
unreliable predictions. Also, as the time spent for NN stays fixed regardless
of the frequency, a higher frequency of change will mean a higher produced
overhead by the NN in proportion to the EA. In general, after considering the
generated overhead, we conclude that NN is not suitable in environments with a
high frequency of changes and/or short time horizons. However, it can be
promising for the low frequency of changes, and especially for the environments
that changes have a pattern.
- Abstract（参考訳）: ニューラルネットワーク(NN)は最近、動的最適化問題を解決するために進化的アルゴリズム(EA)と共に適用されている。
適用されたnnは、前回の最適解に基づいて次の最適位置を推定する。
変化を検出した後、予測された解を用いて、EAの人口をソリューション空間の有望な領域に移動させ、収束を加速し、最適追跡の精度を向上させる。
以前の研究は結果の改善を示しているが、NNが生み出したオーバーヘッドを無視している。
本研究では、最適化時間におけるNNのトレーニングに要する時間を反映し、その結果をベースラインEAと比較する。
生成したオーバーヘッドを考慮することで、NNは結果を改善することができ、どの条件でそれを行うことができるかを検討する。
NNを訓練する主な困難は次のとおりである。
1)新しいデータの予測を一般化するための十分なサンプルを得る、
2)信頼できるサンプルを得る。
NNは各タイムステップでデータを収集する必要があるため、時間が短ければ、NNをトレーニングするのに十分なサンプルを収集することはできない。
これを緩和するため,より短い時間ステップでサンプル収集を高速化するために,各変更の個々人を検討することを提案する。
変化の頻度が高い環境では、EAが生み出すソリューションは実際の最適から遠く離れている可能性が高い。
NNの信頼できない列車データを使用することで、信頼性の低い予測が生まれる。
また、NNに費やされる時間は周波数によらず固定されているため、変化の頻度が高ければ、EAに比例してNNが生み出すオーバーヘッドが高くなる。
一般に、生成したオーバーヘッドを考慮すると、NNは変化頻度の高い環境や短時間の地平線に適さないと結論付けている。
しかし、変更の頻度の低さ、特に変更がパターンを持つ環境では有望である。
関連論文リスト
- Accelerating Full Waveform Inversion By Transfer Learning [1.0881446298284452]
フルウェーブフォーム・インバージョン (FWI) は、波動伝搬によって得られた疎測定データに基づいて材料フィールドを再構築する強力なツールである。
特定の問題に対して、ニューラルネットワーク(NN)による材料フィールドの識別は、対応する最適化問題の堅牢性と再構築品質を向上させる。
本稿では,NNベースのFWIをさらに改善するために,新しいトランスファー学習手法を提案する。
論文 参考訳（メタデータ） (2024-08-01T16:39:06Z) - Direct Training Needs Regularisation: Anytime Optimal Inference Spiking Neural Network [23.434563009813218]
スパイキングニューラルネットワーク(SNN)は,次世代のニューラルネットワーク(ANN)として認識される
空間時間正規化(STR)と呼ばれる新しい正規化手法を導入する。
STRは各段階におけるスパイクの強さと膜電位の比を調節する。
これは、トレーニング中の空間的および時間的パフォーマンスを効果的にバランスさせ、最終的にはAnytime Optimal Inference (AOI) SNNとなる。
論文 参考訳（メタデータ） (2024-04-15T15:57:01Z) - FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion [16.9748086865693]
Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する
本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。
さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
論文 参考訳（メタデータ） (2024-03-27T09:25:20Z) - Knowing When to Stop: Delay-Adaptive Spiking Neural Network Classifiers with Reliability Guarantees [36.14499894307206]
スパイキングニューラルネットワーク(SNN)は、内部イベント駆動型ニューラルネットワークを通じて時系列データを処理する。
本稿では,入力依存停止時に発生する決定に対して,信頼性を保証する新しい遅延適応型SNNベースの推論手法を提案する。
論文 参考訳（メタデータ） (2023-05-18T22:11:04Z) - SEENN: Towards Temporal Spiking Early-Exit Neural Networks [26.405775809170308]
スパイキングニューラルネットワーク(SNN)は、最近、従来のニューラルネットワーク(ANN)の生物学的にもっともらしい代替品として人気が高まっている。
本研究では,SNNにおける時間経過の微調整について検討する。
時間ステップ数を動的に調整することにより、SEENNは推論中の平均時間ステップ数を著しく削減する。
論文 参考訳（メタデータ） (2023-04-02T15:57:09Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳（メタデータ） (2022-07-08T18:17:06Z) - DEBOSH: Deep Bayesian Shape Optimization [48.80431740983095]
形状最適化に適した不確実性に基づく新しい手法を提案する。
効果的なBOを可能にし、その結果の形状の質を最先端のアプローチを超えて向上させる。
論文 参考訳（メタデータ） (2021-09-28T11:01:42Z) - A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。
本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。
そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
論文 参考訳（メタデータ） (2021-03-01T15:55:58Z) - Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。
これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文 参考訳（メタデータ） (2020-06-10T12:48:37Z) - Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。
提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文 参考訳（メタデータ） (2020-06-07T07:06:35Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。