論文の概要: Input Convex Lipschitz RNN: A Fast and Robust Approach for Engineering
Tasks
- arxiv url: http://arxiv.org/abs/2401.07494v2
- Date: Fri, 19 Jan 2024 06:16:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 18:03:54.298246
- Title: Input Convex Lipschitz RNN: A Fast and Robust Approach for Engineering
Tasks
- Title(参考訳): input convex lipschitz rnn: エンジニアリングタスクのための高速で堅牢なアプローチ
- Authors: Zihao Wang, P S Pravin, Zhe Wu
- Abstract要約: 入力凸リプシッツリカレントニューラルネットワークと呼ばれる新しいネットワークアーキテクチャを開発した。
このモデルは、計算効率と対向ロバスト性の観点から、様々な工学的タスクにおいて、既存の繰り返し単位よりも優れる。
- 参考スコア(独自算出の注目度): 14.835081385422653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computational efficiency and adversarial robustness are critical factors in
real-world engineering applications. Yet, conventional neural networks often
fall short in addressing both simultaneously, or even separately. Drawing
insights from natural physical systems and existing literature, it is known
that an input convex architecture enhances computational efficiency, while a
Lipschitz-constrained architecture bolsters adversarial robustness. By
leveraging the strengths of convexity and Lipschitz continuity, we develop a
novel network architecture, termed Input Convex Lipschitz Recurrent Neural
Networks. This model outperforms existing recurrent units across a spectrum of
engineering tasks in terms of computational efficiency and adversarial
robustness. These tasks encompass a benchmark MNIST image classification,
real-world solar irradiance prediction for Solar PV system planning at LHT
Holdings in Singapore, and real-time Model Predictive Control optimization for
a chemical reactor.
- Abstract(参考訳): 計算効率と敵対的ロバスト性は実世界の工学的応用において重要な要素である。
しかし、従来のニューラルネットワークは、同時に、あるいは別々に対処できないことが多い。
自然物理系や既存の文献からの洞察を引き合いに出し、入力凸構造が計算効率を高めるのに対し、リプシッツ拘束型アーキテクチャは逆ロバスト性を高めることが知られている。
凸性およびリプシッツ連続性の強みを活用することにより、入出力凸リプシッツ再帰ニューラルネットワークと呼ばれる新しいネットワークアーキテクチャを開発する。
このモデルは、計算効率と逆ロバスト性の観点から、エンジニアリングタスクのスペクトル全体で既存の再帰ユニットを上回る。
これらのタスクには、MNIST画像分類のベンチマーク、シンガポールのLHTホールディングスのソーラーPVシステム計画のための実世界の太陽光照射予測、化学反応器のリアルタイムモデル予測制御の最適化が含まれる。
関連論文リスト
- Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity [39.483346492111515]
線形リカレントニューラルネットワークは、推論中に一定のメモリ使用量と時間毎の時間を含む強力な長距離シーケンスモデリングを可能にする。
非構造化空間は、互換性のあるハードウェアプラットフォームによって加速されるときに、計算とメモリの要求を大幅に削減できる魅力的なソリューションを提供する。
非常に疎い線形RNNは、高密度ベースラインよりも高い効率と性能のトレードオフを一貫して達成している。
論文 参考訳(メタデータ) (2025-02-03T13:09:21Z) - Energy-Aware FPGA Implementation of Spiking Neural Network with LIF Neurons [0.5243460995467893]
スパイキングニューラルネットワーク(SNN)は、TinyMLの最先端ソリューションとして際立っている。
本稿では,第1次Leaky Integrate-and-Fire(LIF)ニューロンモデルに基づく新しいSNNアーキテクチャを提案する。
ハードウェアフレンドリーなLIF設計も提案され、Xilinx Artix-7 FPGA上で実装されている。
論文 参考訳(メタデータ) (2024-11-03T16:42:10Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-29T19:02:54Z) - Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2024-03-21T02:33:37Z) - Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural
Networks [0.08965418284317034]
Spiking Neural Networks(SNN)は、小さくて低消費電力なハードウェアフットプリントによるエネルギー効率の向上を提供する。
本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。
論文 参考訳(メタデータ) (2024-02-29T09:46:44Z) - Parallel Spiking Unit for Efficient Training of Spiking Neural Networks [8.912926151352888]
スパイキングニューラルネットワーク(SNN)は、人工知能の進歩に使用される。
SNNは、その固有の逐次計算依存によって妨げられている。
本稿では、革新的なParallel Spiking Unit(PSU)とその2つの誘導体、IPSU(IPSU)とRPSU(RPSU)を紹介する。
これらの変種は、リセットプロセスを確率的に管理しながら、スパイキングニューロンの漏れた積分と発火機構を巧みに分離する。
論文 参考訳(メタデータ) (2024-02-01T09:36:26Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
論文 参考訳(メタデータ) (2023-08-23T10:48:28Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2021-11-02T06:44:10Z) - Fully-parallel Convolutional Neural Network Hardware [0.7829352305480285]
本稿では,ハードウェアにArticial Neural Networks(ANN)を実装するための,新しい電力・面積効率アーキテクチャを提案する。
LENET-5として完全に並列なCNNを1つのFPGAに埋め込んでテストするのが初めてである。
論文 参考訳(メタデータ) (2020-06-22T17:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。