論文の概要: Multi Part Deployment of Neural Network

• arxiv url: http://arxiv.org/abs/2506.01387v1
• Date: Mon, 02 Jun 2025 07:24:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.088199
• Title: Multi Part Deployment of Neural Network
• Title（参考訳）: ニューラルネットワークの多部展開
• Authors: Paritosh Ranjan, Surajit Majumder, Prodip Roy,
• Abstract要約: 本稿では,複数のサーバにまたがるニューラルネットワークを分割する分散システムアーキテクチャを提案する。 Multi-Part Neural Network Execution Engineは、分散パーティション間のシームレスな実行とトレーニングを容易にする。 Neuron Distributorモジュールは、ニューロン数、パーセンテージ、識別子、ネットワーク層に基づく柔軟なパーティショニング戦略を可能にする。
• 参考スコア（独自算出の注目度）: 0.17205106391379024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing scale of modern neural networks, exemplified by architectures from IBM (530 billion neurons) and Google (500 billion parameters), presents significant challenges in terms of computational cost and infrastructure requirements. As deep neural networks continue to grow, traditional training paradigms relying on monolithic GPU clusters become increasingly unsustainable. This paper proposes a distributed system architecture that partitions a neural network across multiple servers, each responsible for a subset of neurons. Neurons are classified as local or remote, with inter-server connections managed via a metadata-driven lookup mechanism. A Multi-Part Neural Network Execution Engine facilitates seamless execution and training across distributed partitions by dynamically resolving and invoking remote neurons using stored metadata. All servers share a unified model through a network file system (NFS), ensuring consistency during parallel updates. A Neuron Distributor module enables flexible partitioning strategies based on neuron count, percentage, identifiers, or network layers. This architecture enables cost-effective, scalable deployment of deep learning models on cloud infrastructure, reducing dependency on high-performance centralized compute resources.
• Abstract（参考訳）: IBM(5300億のニューロン)とGoogle(500億のパラメータ)のアーキテクチャによって実証された、現代のニューラルネットワークの規模の増加は、計算コストとインフラストラクチャ要件という面で大きな課題を呈している。 ディープニューラルネットワークが成長を続けるにつれ、モノリシックGPUクラスタに依存する従来のトレーニングパラダイムは、ますます持続不可能になっている。 本稿では、複数のサーバにまたがるニューラルネットワークを分割し、それぞれがニューロンのサブセットに責任を持つ分散システムアーキテクチャを提案する。 ニューロンはローカルまたはリモートに分類され、メタデータ駆動のルックアップ機構を介してサーバ間の接続を管理する。 Multi-Part Neural Network Execution Engineは、格納されたメタデータを使用してリモートニューロンを動的に解き、呼び出しすることにより、分散パーティション間のシームレスな実行とトレーニングを容易にする。 すべてのサーバはネットワークファイルシステム(NFS)を通じて統一されたモデルを共有し、並列更新時の一貫性を保証する。 Neuron Distributorモジュールは、ニューロン数、パーセンテージ、識別子、ネットワーク層に基づく柔軟なパーティショニング戦略を可能にする。 このアーキテクチャにより、コスト効率が高くスケーラブルなディープラーニングモデルのクラウドインフラストラクチャへのデプロイが可能になり、高性能な集中型計算リソースへの依存を減らすことができる。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。 スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。 分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。 本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
  アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。 このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。 実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
  論文  参考訳（メタデータ） (2024-10-10T19:57:36Z)
• Message Passing Variational Autoregressive Network for Solving Intractable Ising Models [6.261096199903392]
  自己回帰型ニューラルネットワーク、畳み込み型ニューラルネットワーク、リカレントニューラルネットワーク、グラフニューラルネットワークなど、多くのディープニューラルネットワークがIsingモデルの解決に使用されている。 本稿では、スピン変数間の相互作用を効果的に活用できるメッセージパッシング機構を備えた変分自己回帰アーキテクチャを提案する。 新しいネットワークは、アニーリングフレームワークの下で訓練され、いくつかの原型スピンハミルトニアンの解法、特に低温での大きなスピン系において、既存の方法よりも優れている。
  論文  参考訳（メタデータ） (2024-04-09T11:27:07Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Communication-Efficient Separable Neural Network for Distributed Inference on Edge Devices [2.28438857884398]
  本稿では,分散推論のためのニューラルネットワークを分離するために,モデル並列性を利用する新しい手法を提案する。 デバイスの適切な仕様とモデルの構成の下で、エッジクラスタ上の大規模ニューラルネットワークの推論が分散し、加速可能であることを示す実験を行った。
  論文  参考訳（メタデータ） (2021-11-03T19:30:28Z)
• Max and Coincidence Neurons in Neural Networks [0.07614628596146598]
  ニューラルアーキテクチャサーチを用いて、最大ニューロンと偶然ニューロンのモデルを含むネットワークを最適化する。 我々は、信号処理ResNetを開発するために最適化ネットワークの構造、動作、ニューロンを分析する。 開発されたネットワークは、精度が平均2%向上し、さまざまなデータセットでネットワークサイズが25%向上した。
  論文  参考訳（メタデータ） (2021-10-04T07:13:50Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。