論文の概要: LTC-SE: Expanding the Potential of Liquid Time-Constant Neural Networks for Scalable AI and Embedded Systems

• arxiv url: http://arxiv.org/abs/2304.08691v1
• Date: Tue, 18 Apr 2023 01:57:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 16:14:23.556407
• Title: LTC-SE: Expanding the Potential of Liquid Time-Constant Neural Networks for Scalable AI and Embedded Systems
• Title（参考訳）: LTC-SE:スケーラブルAIと組込みシステムのための液体時間定常ニューラルネットワークの可能性の拡大
• Authors: Michael Bidollahkhani, Ferhat Atasoy, Hamdan Abdellatef
• Abstract要約: 我々は2021年にHasaniらによって提案されたLiquid Time-Constant Neural Networkアルゴリズムの改良版を提案する。 LTC-SEの強化は、柔軟性、互換性、コード組織の拡張に焦点を当てている。 これらの改良は、ロボット工学、因果解析、時系列予測など、さまざまな機械学習タスクにおける液体ニューラルネットワークの適用性を高める。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present LTC-SE, an improved version of the Liquid Time-Constant (LTC) neural network algorithm originally proposed by Hasani et al. in 2021. This algorithm unifies the Leaky-Integrate-and-Fire (LIF) spiking neural network model with Continuous-Time Recurrent Neural Networks (CTRNNs), Neural Ordinary Differential Equations (NODEs), and bespoke Gated Recurrent Units (GRUs). The enhancements in LTC-SE focus on augmenting flexibility, compatibility, and code organization, targeting the unique constraints of embedded systems with limited computational resources and strict performance requirements. The updated code serves as a consolidated class library compatible with TensorFlow 2.x, offering comprehensive configuration options for LTCCell, CTRNN, NODE, and CTGRU classes. We evaluate LTC-SE against its predecessors, showcasing the advantages of our optimizations in user experience, Keras function compatibility, and code clarity. These refinements expand the applicability of liquid neural networks in diverse machine learning tasks, such as robotics, causality analysis, and time-series prediction, and build on the foundational work of Hasani et al.
• Abstract（参考訳）: 我々は2021年にHasaniらによって提案されたLTC(Liquid Time-Constant)ニューラルネットワークアルゴリズムの改良版であるLCC-SEを提案する。 このアルゴリズムは、Leaky-Integrate-and-Fire(LIF)スパイキングニューラルネットワークモデルと、連続時間リカレントニューラルネットワーク(CTRNN)、ニューラル正規微分方程式(NODE)、そして、ゲーテッドリカレントユニット(GRU)を統合する。 LTC-SEの強化は柔軟性、互換性、コード構成の向上に重点を置いており、計算資源の制限と厳格な性能要件を備えた組み込みシステムのユニークな制約をターゲットにしている。 更新されたコードはTensorFlow 2.xと互換性のある統合クラスライブラリとして機能し、LTCCell、CTRNN、NODE、CTGRUクラスの包括的な設定オプションを提供する。 LTC-SEは,ユーザエクスペリエンス,Keras関数の互換性,コードの明確性といった最適化の利点を示す。 これらの改良により、ロボット工学、因果分析、時系列予測など、さまざまな機械学習タスクにおける液体ニューラルネットワークの適用性が拡大され、hasaniらの基礎研究が構築される。

関連論文リスト

• DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
  本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。 我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。 拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-11T06:31:03Z)
• Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural Networks [0.08965418284317034]
  Spiking Neural Networks(SNN)は、小さくて低消費電力なハードウェアフットプリントによるエネルギー効率の向上を提供する。 本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。
  論文  参考訳（メタデータ） (2024-02-29T09:46:44Z)
• Input Convex Lipschitz RNN: A Fast and Robust Approach for Engineering Tasks [14.835081385422653]
  入力凸リプシッツリカレントニューラルネットワーク(ICLRNN)と呼ばれる新しいネットワークアーキテクチャを導入する。 このアーキテクチャは、凸性とリプシッツ連続性の利点をシームレスに統合し、高速で堅牢なニューラルネットワークベースのモデリングと最適化を可能にする。 化学プロセスのモデリングと制御、ソーラーPVシステム計画のための実世界の太陽放射予測など、実用的な技術シナリオにうまく応用されている。
  論文  参考訳（メタデータ） (2024-01-15T06:26:53Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• Fully-parallel Convolutional Neural Network Hardware [0.7829352305480285]
  本稿では,ハードウェアにArticial Neural Networks(ANN)を実装するための,新しい電力・面積効率アーキテクチャを提案する。 LENET-5として完全に並列なCNNを1つのFPGAに埋め込んでテストするのが初めてである。
  論文  参考訳（メタデータ） (2020-06-22T17:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。