論文の概要: Cost-effective Deep Learning Infrastructure with NVIDIA GPU

• arxiv url: http://arxiv.org/abs/2503.11246v1
• Date: Fri, 14 Mar 2025 09:54:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:08:43.873611
• Title: Cost-effective Deep Learning Infrastructure with NVIDIA GPU
• Title（参考訳）: NVIDIA GPUによる費用対効果ディープラーニングインフラストラクチャ
• Authors: Aatiz Ghimire, Shahnawaz Alam, Siman Giri, Madhav Prasad Ghimire,
• Abstract要約: ネパールのような発展途上国は、これらの目的のために新しいより良いハードウェアに投資するために必要な資源に苦しむことが多い。 これらのニーズに対処するため、4つのNVIDIA GTX 1650グラフィックカードを使用してクラスタを構築しました。 設計と実装プロセスで遭遇した継続的な課題にもかかわらず、このプロジェクトは、リソース集約的なタスクを処理するために、いかに強力な計算クラスタを構築することができるかを実証する。
• 参考スコア（独自算出の注目度）: 0.19999259391104385
• License:
• Abstract: The growing demand for computational power is driven by advancements in deep learning, the increasing need for big data processing, and the requirements of scientific simulations for academic and research purposes. Developing countries like Nepal often struggle with the resources needed to invest in new and better hardware for these purposes. However, optimizing and building on existing technology can still meet these computing demands effectively. To address these needs, we built a cluster using four NVIDIA GeForce GTX 1650 GPUs. The cluster consists of four nodes: one master node that controls and manages the entire cluster, and three compute nodes dedicated to processing tasks. The master node is equipped with all necessary software for package management, resource scheduling, and deployment, such as Anaconda and Slurm. In addition, a Network File Storage (NFS) system was integrated to provide the additional storage required by the cluster. Given that the cluster is accessible via ssh by a public domain address, which poses significant cybersecurity risks, we implemented fail2ban to mitigate brute force attacks and enhance security. Despite the continuous challenges encountered during the design and implementation process, this project demonstrates how powerful computational clusters can be built to handle resource-intensive tasks in various demanding fields.
• Abstract（参考訳）: 計算力の需要の増加は、ディープラーニングの進歩、ビッグデータ処理の必要性の増大、学術や研究目的の科学シミュレーションの要求によって引き起こされる。 ネパールのような発展途上国は、これらの目的のために新しいより良いハードウェアに投資するために必要な資源に苦しむことが多い。 しかし、既存の技術の最適化と構築は、これらの計算要求を効果的に満たすことができる。 これらのニーズに対処するため、4つのNVIDIA GeForce GTX 1650 GPUを使用してクラスタを構築しました。 クラスタは4つのノードで構成される: 1つのマスタノードがクラスタ全体を制御し、管理し、3つの計算ノードがタスクを処理する。 マスターノードにはパッケージ管理、リソーススケジューリング、AnacondaやSlurmといったデプロイに必要なソフトウェアがすべて備わっている。 さらに、ネットワークファイルストレージ(NFS)システムが統合され、クラスタに必要な追加ストレージが提供される。 このクラスタが、重大なサイバーセキュリティリスクを引き起こすパブリックドメインアドレスによって、sshを介してアクセス可能であることを考えれば、私たちは、残忍な攻撃を軽減し、セキュリティを強化するために、fail2banを実装しました。 設計と実装プロセスで遭遇した継続的な課題にもかかわらず、このプロジェクトは、様々な需要のある分野におけるリソース集約的なタスクを処理するために、いかに強力な計算クラスタを構築することができるかを実証する。

関連論文リスト

• Secure Resource Allocation via Constrained Deep Reinforcement Learning [49.15061461220109]
  リソース割り当て、タスクオフロード、セキュリティ、パフォーマンスのバランスをとるフレームワークであるSARMTOを紹介します。 SARMTOは5つのベースラインアプローチを一貫して上回り、最大40%のシステムコスト削減を実現している。 これらの拡張は、複雑な分散コンピューティング環境におけるリソース管理に革命をもたらすSARMTOの可能性を強調している。
  論文  参考訳（メタデータ） (2025-01-20T15:52:43Z)
• Efficient Deep Learning Infrastructures for Embedded Computing Systems: A Comprehensive Survey and Future Envision [10.533474972061851]
  近年、ディープニューラルネットワーク(DNN)は、さまざまな現実世界のビジョンと言語処理タスクにおいて、目覚ましい成功を収めている。 これまでのよく確立されたDNNは、優れた精度を維持することができるにもかかわらず、より深く、より広いものへと進化してきた。 この調査は、組み込みコンピューティングシステムのための最近の効率的なディープラーニングインフラについて議論することに焦点を当てる。
  論文  参考訳（メタデータ） (2024-11-03T03:55:04Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators [57.145175475579315]
  このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。 第3世代のOTOv3(Noth-Train-Once)を導入する。 我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-15T00:22:55Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• Elastic Entangled Pair and Qubit Resource Management in Quantum Cloud Computing [73.7522199491117]
  量子クラウドコンピューティング(QCC)は、量子コンピューティングリソースを効率的に提供するための有望なアプローチを提供する。 ユーザ需要の変動と量子回路の要求は、効率的なリソース供給のために困難である。 本稿では、量子コンピューティングとネットワークリソースのプロビジョニングのためのリソース割り当てモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-25T00:38:46Z)
• Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks [58.720142291102135]
  大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T17:41:07Z)
• Quantum Heterogeneous Distributed Deep Learning Architectures: Models, Discussions, and Applications [13.241451755566365]
  量子深層学習(QDL)と分散深層学習(DDL)は、既存の深層学習を補完するために出現している。 QDLは、ローカルデバイスやサーバ上のディープラーニング計算を量子ディープラーニングに置き換えることで、計算上の利益を得る。 サーバとクライアント間の量子セキュアな通信プロトコルを使用することで、データセキュリティを向上させることができる。
  論文  参考訳（メタデータ） (2022-02-19T12:59:11Z)
• Efficient Strong Scaling Through Burst Parallel Training [13.656104138147967]
  大規模なGPUクラスタを使用して、ディープニューラルネットワーク(DNN)モデルをトレーニングすることが、必須の要件になっています。 この効率問題に対処するシステムDeepPoolを2つの重要なアイデアで紹介する。
  論文  参考訳（メタデータ） (2021-12-19T05:18:39Z)
• When Deep Reinforcement Learning Meets Federated Learning: Intelligent Multi-Timescale Resource Management for Multi-access Edge Computing in 5G Ultra Dense Network [31.274279003934268]
  まず,ブロックチェーンとAIを5Gエッジコンピューティングネットワークに統合した,インテリジェントな超高密度エッジコンピューティング(I-UDEC)フレームワークを提案する。 実時間および低オーバーヘッド計算のオフロード決定と資源配分戦略を実現するために,新しい2段階の深層強化学習法(textit2Ts-DRL)を設計する。 提案アルゴリズムはタスク実行時間を最大31.87%削減できる。
  論文  参考訳（メタデータ） (2020-09-22T15:08:00Z)
• Dataflow Aware Mapping of Convolutional Neural Networks Onto Many-Core Platforms With Network-on-Chip Interconnect [0.0764671395172401]
  マシンインテリジェンス、特に畳み込みニューラルネットワーク(CNN)は、ここ数年で大きな研究領域となっている。 複数の同質なコアで構成される多コアプラットフォームは、データフローマッピングの労力の増大を犠牲にして、物理実装に関する制限を緩和することができる。 この作業は、最小限のランタイムと最小限のオフチップメモリアクセスに対して、最適化目標の異なるシングルコアレベルから始まる自動マッピング戦略を示す。 この戦略は、適切なマルチコアマッピング方式に拡張され、ネットワークオンチップ相互接続によるスケーラブルなシステムレベルシミュレーションを用いて評価される。
  論文  参考訳（メタデータ） (2020-06-18T17:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。