論文の概要: Addressing the Memory Bottleneck in AI Model Training

• arxiv url: http://arxiv.org/abs/2003.08732v1
• Date: Wed, 11 Mar 2020 18:16:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 14:32:22.219932
• Title: Addressing the Memory Bottleneck in AI Model Training
• Title（参考訳）: AIモデルトレーニングにおけるメモリスロットネックへの対処
• Authors: David Ojika, Bhavesh Patel, G. Anthony Reina, Trent Boyer, Chad Martin, Prashant Shah
• Abstract要約: 医療イメージングをケーススタディとして,x86ベースのサーバ上でIntelが最適化したことにより,スケールアップサーバ構成によるメモリ集約型AI/深層学習モデルのトレーニングが可能になることを示す。 私たちの研究は、単一ノードサーバ上で大きなメモリフットプリント(1TB)を持つディープニューラルネットワークの最初のトレーニングであると考えています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using medical imaging as case-study, we demonstrate how Intel-optimized TensorFlow on an x86-based server equipped with 2nd Generation Intel Xeon Scalable Processors with large system memory allows for the training of memory-intensive AI/deep-learning models in a scale-up server configuration. We believe our work represents the first training of a deep neural network having large memory footprint (~ 1 TB) on a single-node server. We recommend this configuration to scientists and researchers who wish to develop large, state-of-the-art AI models but are currently limited by memory.
• Abstract（参考訳）: 大規模システムメモリを備えた第2世代のintel xeonスケーラブルプロセッサを搭載したx86ベースのサーバ上で,メモリ集約型ai/ディープラーニングモデルのトレーニングをスケールアップサーバ構成で実現する。 私たちの研究は、単一ノードサーバ上で大きなメモリフットプリント(約1TB)を持つディープニューラルネットワークの最初のトレーニングであると考えています。 私たちはこの構成を、大規模で最先端のAIモデルを開発したいという科学者や研究者に推奨します。

関連論文リスト

• Learning-to-learn enables rapid learning with phase-change memory-based in-memory computing [38.34244217803562]
  低消費電力で自律的に学習する人工知能(AI)システムに対する需要は、エッジに適用でき、デプロイメントサイトの特定の状況に迅速に適応できる。 本研究では、L2Lとインメモリコンピューティングニューロモルフィックハードウェアを組み合わせ、新しいタスクに迅速に適応できる効率的なAIモデルを構築する。 画像分類を行う畳み込みニューラルネットワークと、本物のロボットアームのモーターコマンドを生成する生物学的にインスパイアされたスパイクニューラルネットワークの2つのシナリオで、我々のアプローチの汎用性を実証する。
  論文  参考訳（メタデータ） (2024-04-22T15:03:46Z)
• AI and Memory Wall [81.06494558184049]
  メモリ帯域幅がデコーダモデルの主要なボトルネックとなることを示す。 私たちは、このメモリ制限を克服するためのモデルアーキテクチャ、トレーニング、デプロイメント戦略の再設計を主張します。
  論文  参考訳（メタデータ） (2024-03-21T04:31:59Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• A Co-design view of Compute in-Memory with Non-Volatile Elements for Neural Networks [12.042322495445196]
  次世代のコンピューティングハードウェアにおいて,コンピュート・イン・メモリがいかに重要な役割を果たすかを論じる。 非揮発性メモリベースのクロスバーアーキテクチャは、アナログプロセスを使用して行列ベクトル乗算演算を並列化するエンジンの心臓を形成する。 クロスバーアーキテクチャは、時にはニューロモルフィックアプローチと呼ばれ、将来のコンピュータにおいて重要なハードウェア要素となる。
  論文  参考訳（メタデータ） (2022-06-03T15:59:46Z)
• M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion Parameter Pretraining [55.16088793437898]
  極端なモデルのトレーニングには大量の計算とメモリフットプリントが必要です。 本稿では,高メモリフットプリント要求大モデルのための簡単なトレーニング戦略"Pseudo-to-Real"を提案する。
  論文  参考訳（メタデータ） (2021-10-08T04:24:51Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。