論文の概要: MONET: Modeling and Optimization of neural NEtwork Training from Edge to Data Centers

• arxiv url: http://arxiv.org/abs/2603.15002v1
• Date: Mon, 16 Mar 2026 09:06:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:57.896911
• Title: MONET: Modeling and Optimization of neural NEtwork Training from Edge to Data Centers
• Title（参考訳）: MONET:エッジからデータセンタへのニューラルネトワークトレーニングのモデリングと最適化
• Authors: Jérémy Morlier, Robin Geens, Stef Cuyckens, Arne Symons, Marian Verhelst, Vincent Gripon, Mathieu Léonardon,
• Abstract要約: MONETは、異種データフローアクセラレータ上でのニューラルネットワークのトレーニングをモデル化するためのフレームワークである。 より広い設計空間のために、ニューラルネットワークトレーニングにおいてより複雑になる問題について検討する。 当社のフレームワークは、遺伝的アルゴリズムの助けを借りて、アクティベーションチェックポイントにおける興味深いトレードオフを見つけるために使用しています。
• 参考スコア（独自算出の注目度）: 5.086004180978689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While hardware-software co-design has significantly improved the efficiency of neural network inference, modeling the training phase remains a critical yet underexplored challenge. Training workloads impose distinct constraints, particularly regarding memory footprint and backpropagation complexity, which existing inference-focused tools fail to capture. This paper introduces MONET, a framework designed to model the training of neural networks on heterogeneous dataflow accelerators. MONET builds upon Stream, an experimentally verified framework that that models the inference of neural networks on heterogeneous dataflow accelerators with layer fusion. Using MONET, we explore the design space of ResNet-18 and a small GPT-2, demonstrating the framework's capability to model training workflows and find better hardware architectures. We then further examine problems that become more complex in neural network training due to the larger design space, such as determining the best layer-fusion configuration. Additionally, we use our framework to find interesting trade-offs in activation checkpointing, with the help of a genetic algorithm. Our findings highlight the importance of a holistic approach to hardware-software co-design for scalable and efficient deep learning deployment.
• Abstract（参考訳）: ハードウェアとソフトウェアの共同設計は、ニューラルネットワーク推論の効率を大幅に向上させたが、トレーニングフェーズのモデル化は、依然として重要で未調査の課題である。 トレーニングワークロードは、特にメモリフットプリントと、既存の推論中心のツールがキャプチャーに失敗するバックプロパゲーションの複雑さに関して、明確な制約を課している。 本稿では、異種データフローアクセラレータ上でのニューラルネットワークのトレーニングをモデル化するフレームワークであるMONETを紹介する。 MONETは、層融合を伴う異種データフローアクセラレータ上でのニューラルネットワークの推論をモデル化する実験的に検証されたフレームワークであるStreamの上に構築されている。 MONETを用いて、ResNet-18と小さなGPT-2の設計空間を探索し、トレーニングワークフローをモデル化し、より良いハードウェアアーキテクチャを見つけるためのフレームワークの能力を実証する。 さらに、最適な層融合構成を決定するなど、より大きな設計空間のために、ニューラルネットワークトレーニングにおいてより複雑になる問題についても検討する。 さらに、我々のフレームワークを使用して、遺伝的アルゴリズムの助けを借りて、アクティベーションチェックポイントにおける興味深いトレードオフを見つけます。 我々の発見は、スケーラブルで効率的なディープラーニングデプロイメントのためのハードウェアとソフトウェアの共同設計に対する全体論的アプローチの重要性を強調した。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
  トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。 動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。 我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:32:29Z)
• Exploring Flip Flop memories and beyond: training recurrent neural networks with key insights [0.0]
  本研究では,時間処理タスク,特に3ビットフリップフロップメモリの実装について検討する。 得られたネットワークは、可視化および分析ツールの配列によって支援され、ダイナミックスを解明するために慎重に分析される。
  論文  参考訳（メタデータ） (2020-10-15T16:25:29Z)
• Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
  両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。 極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-24T03:46:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。