論文の概要: LiteLSTM Architecture Based on Weights Sharing for Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2301.04794v1
• Date: Thu, 12 Jan 2023 03:39:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 14:45:16.665227
• Title: LiteLSTM Architecture Based on Weights Sharing for Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークの重み共有に基づくLiteLSTMアーキテクチャ
• Authors: Nelly Elsayed, Zag ElSayed, Anthony S. Maida
• Abstract要約: 長期記憶(Long Short-term memory、LSTM)は、シーケンシャルデータを学習するための堅牢なリカレントニューラルネットワークアーキテクチャの1つである。 本稿では,LiteLSTMアーキテクチャを提案する。 提案したLiteLSTMは、計算予算を小さくしながら、他の最先端のリカレントアーキテクチャに匹敵する精度を持つ。
• 参考スコア（独自算出の注目度）: 1.1602089225841632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long short-term memory (LSTM) is one of the robust recurrent neural network architectures for learning sequential data. However, it requires considerable computational power to learn and implement both software and hardware aspects. This paper proposed a novel LiteLSTM architecture based on reducing the LSTM computation components via the weights sharing concept to reduce the overall architecture computation cost and maintain the architecture performance. The proposed LiteLSTM can be significant for processing large data where time-consuming is crucial while hardware resources are limited, such as the security of IoT devices and medical data processing. The proposed model was evaluated and tested empirically on three different datasets from the computer vision, cybersecurity, speech emotion recognition domains. The proposed LiteLSTM has comparable accuracy to the other state-of-the-art recurrent architecture while using a smaller computation budget.
• Abstract（参考訳）: 長い短期記憶(LSTM)は、シーケンシャルデータを学習するための堅牢なリカレントニューラルネットワークアーキテクチャの1つである。 しかし、ソフトウェアとハードウェアの両方の側面を学び実装するには、かなりの計算能力が必要です。 本稿では,LiteLSTMアーキテクチャを提案する。LiteLSTMアーキテクチャは,アーキテクチャ全体の計算コストを削減し,アーキテクチャ性能を維持するために,重み共有の概念を用いてLSTM計算コンポーネントを削減する。 提案されたLiteLSTMは、IoTデバイスのセキュリティや医療データ処理といったハードウェアリソースが制限されている間に、時間を要する大規模なデータを処理する上で重要である。 提案モデルは,コンピュータビジョン,サイバーセキュリティ,音声感情認識ドメインの3つの異なるデータセットを用いて評価および実験を行った。 提案したLiteLSTMは、計算予算を小さくしながら、他の最先端のリカレントアーキテクチャに匹敵する精度を持つ。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
  我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。 SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。 本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
  論文  参考訳（メタデータ） (2024-07-08T22:40:15Z)
• Implementation Guidelines and Innovations in Quantum LSTM Networks [2.938337278931738]
  本稿では,従来のLSTMネットワークに量子コンピューティングの原理を統合する量子LSTMモデルの理論的解析と実装計画を提案する。 シーケンシャルなデータ処理を強化するための実際のアーキテクチャとその実践的効果は、今後の研究で開発され、実証される。
  論文  参考訳（メタデータ） (2024-06-13T10:26:14Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Algorithm and Hardware Co-Design of Energy-Efficient LSTM Networks for Video Recognition with Hierarchical Tucker Tensor Decomposition [22.502146009817416]
  長期記憶(Long Short-term memory、LSTM)は、シーケンス解析やモデリングアプリケーションで広く使われている強力なディープニューラルネットワークである。 本稿では,高性能エネルギー効率LSTMネットワークに向けたアルゴリズムとハードウェアの共同設計を提案する。
  論文  参考訳（メタデータ） (2022-12-05T05:51:56Z)
• Neural Architecture Search for Improving Latency-Accuracy Trade-off in Split Computing [5.516431145236317]
  スプリットコンピューティングは、IoTシステムにディープラーニングをデプロイする際のプライバシとレイテンシの問題に対処する、新たな機械学習推論技術である。 スプリットコンピューティングでは、ニューラルネットワークモデルは、エッジサーバとIoTデバイスをネットワークを介して分離し、協調的に処理される。 本稿ではスプリットコンピューティングのためのニューラルアーキテクチャサーチ(NAS)手法を提案する。
  論文  参考訳（メタデータ） (2022-08-30T03:15:43Z)
• LiteLSTM Architecture for Deep Recurrent Neural Networks [1.1602089225841632]
  LSTM(Longtemporal short-term memory)は、データを学習するための堅牢なリカレントニューラルネットワークアーキテクチャである。 本稿では,重み共有の概念を用いてLSTMのコンポーネントを削減した新しいLiteLSTMアーキテクチャを提案する。 提案されたLiteLSTMは、時間消費が重要となるビッグデータの学習に有用である。
  論文  参考訳（メタデータ） (2022-01-27T16:33:02Z)
• Improving Deep Learning for HAR with shallow LSTMs [70.94062293989832]
  本稿では,DeepConvLSTMを2層LSTMではなく1層LSTMに変更することを提案する。 この結果は、シーケンシャルデータを扱う場合、少なくとも2層LSTMが必要であるという信念とは対照的である。
  論文  参考訳（メタデータ） (2021-08-02T08:14:59Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• Near-Optimal Hardware Design for Convolutional Neural Networks [0.0]
  本研究では,畳み込みニューラルネットワークのための新しい,特殊目的,高効率ハードウェアアーキテクチャを提案する。 提案アーキテクチャは,モデルの計算フローと同じ構造を持つ計算回路を設計することにより,乗算器の利用を最大化する。 提案するハードウェアアーキテクチャに基づく実装が,商用AI製品に適用されている。
  論文  参考訳（メタデータ） (2020-02-06T09:15:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。