論文の概要: Towards a Flexible and High-Fidelity Approach to Distributed DNN Training Emulation

• arxiv url: http://arxiv.org/abs/2405.02969v1
• Date: Sun, 5 May 2024 15:27:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 17:30:59.340987
• Title: Towards a Flexible and High-Fidelity Approach to Distributed DNN Training Emulation
• Title（参考訳）: 分散DNNトレーニングエミュレーションへのフレキシブルかつ高忠実なアプローチに向けて
• Authors: Banruo Liu, Mubarak Adetunji Ojewale, Yuhan Ding, Marco Canini,
• Abstract要約: 我々は、実ノードのサブセット上でトレーニングワークロードを実行し、ネットワーク化された実行環境と集合的な通信操作をエミュレートすることが可能であると主張している。 本研究では,NuronaBoxが実システムの動作を高精度に再現し,エミュレートした測定値と実システムの誤差マージンが1%未満であることを示す。
• 参考スコア（独自算出の注目度）: 4.241556777623712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose NeuronaBox, a flexible, user-friendly, and high-fidelity approach to emulate DNN training workloads. We argue that to accurately observe performance, it is possible to execute the training workload on a subset of real nodes and emulate the networked execution environment along with the collective communication operations. Initial results from a proof-of-concept implementation show that NeuronaBox replicates the behavior of actual systems with high accuracy, with an error margin of less than 1% between the emulated measurements and the real system.
• Abstract（参考訳）: 我々は,DNNトレーニングワークロードをエミュレートするための,柔軟でユーザフレンドリで高忠実なアプローチであるNeuronaBoxを提案する。 我々は,性能を正確に観察するために,実ノードのサブセット上でトレーニングワークロードを実行し,ネットワーク化された実行環境と集合的な通信操作をエミュレートすることが可能であると主張している。 概念実証実装による最初の結果は、NeuronaBoxが実システムの動作を高精度に再現し、エミュレートされた測定値と実システムの誤差マージンが1%未満であることを示している。

関連論文リスト

• Adaptive Robotic Arm Control with a Spiking Recurrent Neural Network on a Digital Accelerator [41.60361484397962]
  本稿では,システムの概要と,Pynq ZUプラットフォーム上で使用するPythonフレームワークについて述べる。 シミュレーションされた精度は,毎秒380万イベントのピーク性能で維持されていることを示す。
  論文  参考訳（メタデータ） (2024-05-21T14:59:39Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Evolving Connectivity for Recurrent Spiking Neural Networks [8.80300633999542]
  リカレントニューラルネットワーク(RSNN)は、人工知能の進歩に大きな可能性を秘めている。 本稿では、RSNNをトレーニングするための推論のみの手法である、進化的接続性(EC)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-28T07:08:25Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
  本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。 提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。 本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
  論文  参考訳（メタデータ） (2022-05-26T19:01:19Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。