論文の概要: Towards Physical Plausibility in Neuroevolution Systems
- arxiv url: http://arxiv.org/abs/2401.17733v1
- Date: Wed, 31 Jan 2024 10:54:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 15:04:22.845593
- Title: Towards Physical Plausibility in Neuroevolution Systems
- Title（参考訳）: 神経進化系における物理的可能性に向けて
- Authors: Gabriel Cort\^es, Nuno Louren\c{c}o, Penousal Machado
- Abstract要約: 人工知能(AI)モデル、特にディープニューラルネットワーク(DNN)の利用の増加は、トレーニングや推論における消費電力を増加させている。
本研究は機械学習(ML)におけるエネルギー消費の増大問題に対処する。
電力使用量をわずかに削減しても、大幅な省エネ、ユーザ、企業、環境に恩恵をもたらす可能性がある。
- 参考スコア（独自算出の注目度）: 0.276240219662896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing usage of Artificial Intelligence (AI) models, especially Deep
Neural Networks (DNNs), is increasing the power consumption during training and
inference, posing environmental concerns and driving the need for more
energy-efficient algorithms and hardware solutions. This work addresses the
growing energy consumption problem in Machine Learning (ML), particularly
during the inference phase. Even a slight reduction in power usage can lead to
significant energy savings, benefiting users, companies, and the environment.
Our approach focuses on maximizing the accuracy of Artificial Neural Network
(ANN) models using a neuroevolutionary framework whilst minimizing their power
consumption. To do so, power consumption is considered in the fitness function.
We introduce a new mutation strategy that stochastically reintroduces modules
of layers, with power-efficient modules having a higher chance of being chosen.
We introduce a novel technique that allows training two separate models in a
single training step whilst promoting one of them to be more power efficient
than the other while maintaining similar accuracy. The results demonstrate a
reduction in power consumption of ANN models by up to 29.2% without a
significant decrease in predictive performance.
- Abstract（参考訳）: 人工知能(AI)モデル、特にディープニューラルネットワーク(DNN)の利用が増加し、トレーニングと推論中の消費電力が増加し、環境問題を引き起こし、よりエネルギー効率のよいアルゴリズムやハードウェアソリューションの必要性が高まっている。
この研究は機械学習(ML)におけるエネルギー消費の増大、特に推論フェーズにおける問題に対処する。
電力使用量のわずかな削減でさえ、大きな省エネにつながる可能性があり、ユーザー、企業、環境に利益をもたらす。
提案手法は,ニューラルネットワークを用いたニューラルネットワークモデル(ANN)の精度を最大化し,消費電力を最小化する。
そのため、フィットネス機能では消費電力が考慮される。
そこで我々は,高効率なモジュールが選択される確率が高く,階層のモジュールを確率的に再導入する新たな突然変異戦略を提案する。
我々は,2つの異なるモデルを1つのトレーニングステップで訓練し,一方が他方よりも効率よく、他方が類似した精度を維持しながら推進する技術を紹介した。
その結果、予測性能を著しく低下させることなく、ANNモデルの消費電力を最大29.2%削減することを示した。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - Gradual Optimization Learning for Conformational Energy Minimization [69.36925478047682]
ニューラルネットワークによるエネルギー最小化のためのGradual Optimization Learning Framework(GOLF)は、必要な追加データを大幅に削減する。
GOLFでトレーニングしたニューラルネットワークは,種々の薬物様分子のベンチマークにおいて,オラクルと同等に動作することを示す。
論文 参考訳（メタデータ） (2023-11-05T11:48:08Z) - Mantis: Enabling Energy-Efficient Autonomous Mobile Agents with Spiking
Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパース計算と効率的なオンライン学習による低消費電力/エネルギー消費を提供する。
本稿では,自律型移動エージェントにSNNを体系的に採用するマンティス手法を提案する。
論文 参考訳（メタデータ） (2022-12-24T00:00:53Z) - Precise Energy Consumption Measurements of Heterogeneous Artificial
Intelligence Workloads [0.534434568021034]
本稿では,異なるタイプの計算ノード上でのディープラーニングモデルの典型的な2つの応用のエネルギー消費の測定を行う。
我々のアプローチの1つの利点は、スーパーコンピュータの全ユーザーがエネルギー消費に関する情報を利用できることである。
論文 参考訳（メタデータ） (2022-12-03T21:40:55Z) - EVE: Environmental Adaptive Neural Network Models for Low-power Energy
Harvesting System [8.16411986220709]
環境からエネルギーを回収するエネルギー収穫技術は、これらのデバイスを動かすための電池に代わる有望な選択肢だ。
本稿では,エネルギ収穫用IoTデバイスを共有重み付きで検索する機械学習フレームワークであるEVEを提案する。
実験結果から、EVEが生成するニューラルネットワークモデルは、プルーニングや共有重みのないベースラインモデルよりも平均2.5倍高速であることがわかった。
論文 参考訳（メタデータ） (2022-07-14T20:53:46Z) - Great Power, Great Responsibility: Recommendations for Reducing Energy
for Training Language Models [8.927248087602942]
一般的なNLPアプリケーションのエネルギー消費を削減できる技術について検討する。
これらの手法は、訓練言語モデルや推論に使用する際のエネルギー消費を著しく減少させる可能性がある。
論文 参考訳（メタデータ） (2022-05-19T16:03:55Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。
継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
論文 参考訳（メタデータ） (2021-09-12T09:40:18Z) - SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with
Continual and Unsupervised Learning Capabilities in Dynamic Environments [14.727296040550392]
スパイキングニューラルネットワーク(SNN)は、生物学的妥当性のため、効率的な教師なしおよび継続的な学習能力の可能性を秘めている。
動的環境下での継続学習と教師なし学習機能を備えたエネルギー効率の高いSNNのためのフレームワークであるSpikeDynを提案する。
論文 参考訳（メタデータ） (2021-02-28T08:26:23Z) - Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A
Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。
ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文 参考訳（メタデータ） (2020-02-21T02:14:38Z) - NeurOpt: Neural network based optimization for building energy
management and climate control [58.06411999767069]
モデル同定のコストを削減するために,ニューラルネットワークに基づくデータ駆動制御アルゴリズムを提案する。
イタリアにある10の独立したゾーンを持つ2階建ての建物で、学習と制御のアルゴリズムを検証する。
論文 参考訳（メタデータ） (2020-01-22T00:51:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。