論文の概要: OpTorch: Optimized deep learning architectures for resource limited environments

• arxiv url: http://arxiv.org/abs/2105.00619v2
• Date: Tue, 4 May 2021 09:25:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-05 11:38:10.943312
• Title: OpTorch: Optimized deep learning architectures for resource limited environments
• Title（参考訳）: optorch: リソース制限環境に最適化されたディープラーニングアーキテクチャ
• Authors: Salman Ahmed, Hammad Naveed
• Abstract要約: 時間や記憶など多面的に最適化された深層学習パイプラインを提案します。 OpTorchは、ニューラルネットワークトレーニングの既存の実装の弱点を克服するために設計された機械学習ライブラリである。
• 参考スコア（独自算出の注目度）: 1.5736899098702972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning algorithms have made many breakthroughs and have various applications in real life. Computational resources become a bottleneck as the data and complexity of the deep learning pipeline increases. In this paper, we propose optimized deep learning pipelines in multiple aspects of training including time and memory. OpTorch is a machine learning library designed to overcome weaknesses in existing implementations of neural network training. OpTorch provides features to train complex neural networks with limited computational resources. OpTorch achieved the same accuracy as existing libraries on Cifar-10 and Cifar-100 datasets while reducing memory usage to approximately 50%. We also explore the effect of weights on total memory usage in deep learning pipelines. In our experiments, parallel encoding-decoding along with sequential checkpoints results in much improved memory and time usage while keeping the accuracy similar to existing pipelines. OpTorch python package is available at available at https://github.com/cbrl-nuces/optorch
• Abstract（参考訳）: ディープラーニングアルゴリズムは多くのブレークスルーを行い、実生活に様々な応用がある。 ディープラーニングパイプラインのデータと複雑性が増加するにつれて、計算リソースはボトルネックになる。 本稿では,時間と記憶を含む学習の複数の側面において,最適化されたディープラーニングパイプラインを提案する。 OpTorchは、ニューラルネットワークトレーニングの既存の実装の弱点を克服するために設計された機械学習ライブラリである。 OpTorchは、限られた計算リソースで複雑なニューラルネットワークをトレーニングする機能を提供する。 OpTorchは、Cifar-10とCifar-100データセットの既存のライブラリと同じ精度で、メモリ使用量を約50%削減した。 ディープラーニングパイプラインにおけるメモリ使用量に対する重みの影響についても検討する。 実験では、並列符号化復号とシーケンシャルチェックポイントは、既存のパイプラインと同様の精度を維持しながら、メモリと時間使用量を大幅に改善する。 OpTorch pythonパッケージはhttps://github.com/cbrl-nuces/optorchで入手できる。

関連論文リスト

• RoseNNa: A performant, portable library for neural network inference with application to computational fluid dynamics [0.0]
  本稿では,ニューラルネットワーク推論とCFDのギャップを埋めるRoseNNaライブラリを提案する。 RoseNNaは、ニューラルネットワーク推論のための非侵襲的で軽量(1000行)ツールである。
  論文  参考訳（メタデータ） (2023-07-30T21:11:55Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• Is Integer Arithmetic Enough for Deep Learning Training? [2.9136421025415205]
  浮動小数点演算を低ビット整数演算に置き換えることは、ディープラーニングモデルのエネルギー、メモリフットプリント、レイテンシを節約するための有望なアプローチである。 本稿では,フォワードパス,バックプロパゲーション,勾配降下を含む完全関数型整数学習パイプラインを提案する。 提案手法は, 視覚変換器, オブジェクト検出, セマンティックセグメンテーションなど, 多様なタスクに有効であることを示す。
  論文  参考訳（メタデータ） (2022-07-18T22:36:57Z)
• Deep Q-network using reservoir computing with multi-layered readout [0.0]
  リカレントニューラルネットワーク(RNN)に基づく強化学習(RL)は、文脈に依存したタスクの学習に使用される。 BPTTを使わずにエージェントを訓練するリプレイメモリ導入方式が提案されている。 本稿では,読み出し層に多層ニューラルネットワークを適用することにより,本手法の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-03-03T00:32:55Z)
• Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines [77.45213180689952]
  ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。 エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。 チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
  論文  参考訳（メタデータ） (2022-02-17T14:31:58Z)
• Reservoir Stack Machines [77.12475691708838]
  メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。 本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。 以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
  論文  参考訳（メタデータ） (2021-05-04T16:50:40Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• A Fortran-Keras Deep Learning Bridge for Scientific Computing [6.768544973019004]
  ソフトウェアライブラリであるFortran-Keras Bridge(FKB)を導入する。 本稿は、FKBが提供するいくつかのユニークな機能、例えば、カスタマイズ可能なレイヤ、損失関数、ネットワークアンサンブルについて述べる。 本稿は,地球規模の気候シミュレーションに対する実験的アプローチの堅牢性に関するオープンな疑問にFKBを適用したケーススタディで締めくくっている。
  論文  参考訳（メタデータ） (2020-04-14T15:10:09Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。