論文の概要: DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs

• arxiv url: http://arxiv.org/abs/2608.14614v1
• Date: Fri, 10 Jul 2026 09:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.235436
• Title: DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs
• Title（参考訳）: DumpsterCluster:60ドルのGPUでDumpster DivingからServing LLaMA-70Bへ
• Abstract要約: 128GPUのDumpsterClusterをスクラッチから構築しています。 我々のV100ベースのDumpsterClusterは、競合するLLaMA-70Bスループットを実現し、生産可能性を検証する。 セカンドハンドシステムは8Bモデルではトークン当たりの総炭素排出量を約4倍、70Bモデルでは40倍以上にすることができる。
• 参考スコア（独自算出の注目度）: 27.753274370023714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As AI datacenters retire functional GPUs, vast quantities of still capable accelerators enter secondary markets. This paper investigates whether these retired GPUs can find a productive afterlife to form a DumpsterCluster that can serve modern LLM inference, and under what conditions such repurposing is economically viable and environmentally sustainable. We physically built a 128-GPU DumpsterCluster from scratch using only second-hand components and ran it for one year. At current market prices (\$22K for the DumpsterCluster vs. \$600K for an 8-GPU B200 system), the economic advantages are substantial. Through pipeline-parallel optimizations, our V100 based DumpsterCluster achieves competitive LLaMA-70B throughput, validating production viability. However, our deployment reveals critical context dependencies. Older GPUs consume significantly more energy per token, making total cost of ownership favorable only in regions with inexpensive electricity. Under grid-average carbon intensity, second-hand systems can produce approximately 4x higher total carbon emissions per token for 8B models, and over 40x for 70B models, compared to current-generation hardware. These findings show that GPU afterlife is not universally sustainable - hardware repurposing must be strategically coupled with low carbon energy sources. When deployed in regions with favourable energy economics and clean electricity, second-hand GPUs offer a viable pathway for expanding AI capacity while advancing affordability, energy security, and environmental responsibility.
• Abstract（参考訳）: AIデータセンターが機能GPUを引退するにつれ、まだ多くの有能なアクセラレーターがセカンダリマーケットに参入する。 本稿は, これらのリタイアGPUが, 現代のLCM推論に役立てることができるダンプスタークラスタを形成するための生産的なアフターライフを見出すことができ, 経済的に有効であり, 環境的にも持続可能であるかを検討する。 128GPUのDumpsterClusterをスクラッチから作り、中古のコンポーネントだけを使って1年間走らせました。 現在の市場価格(DumpsterClusterが$22K、B200が$600K)では、経済的優位性はかなり大きい。 パイプライン並列最適化を通じて、当社のV100ベースのDumpsterClusterは、競合するLLaMA-70Bスループットを実現し、運用可能性を検証する。 しかし、デプロイメントは重要なコンテキスト依存を明らかにします。 古いGPUはトークン当たりのエネルギーを著しく多く消費するので、総所有コストは安価な電気の領域に限られる。 グリッド平均炭素強度の下では、中古システムは8Bモデルではトークン当たりの総炭素排出量を約4倍、70Bモデルでは40倍以上にすることができる。 これらの結果は、GPUの余命は普遍的に持続可能ではないことを示している - ハードウェアの再利用は、低炭素エネルギー源と戦略的に結合する必要がある。 好適なエネルギー経済とクリーンな電気を持つリージョンにデプロイされる場合、第2のGPUは、可利用性、エネルギーセキュリティ、環境責任を向上しながら、AI能力を拡大するための実行可能な経路を提供する。

関連論文リスト

• Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
  本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。 さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
  論文  参考訳（メタデータ） (2026-07-02T08:06:57Z)
• Serving LLMs in HPC Clusters: A Comparative Study of Qualcomm Cloud AI 100 Ultra and NVIDIA Data Center GPUs [2.290295666279608]
  本研究では,大規模言語モデル(LLM)推論のためのQualcomm Cloud AI 100 Ultra (QAic)アクセラレータのベンチマーク解析を行う。 合計12のオープンソース LLM は、1億1400万から700億のパラメータで、vLLMフレームワークを使用して提供されている。 分析の結果,QAicはより粒度の細かいハードウェアアロケーションを実現しつつ,特定のモデルに有利な競争エネルギー効率を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-07-01T04:11:09Z)
• Good things come in small packages: Should we build AI clusters with Lite-GPUs? [1.919040910295649]
  製造コスト, 爆発半径, 収率, 電力効率に対するLite-GPUの利点について述べる。 リソース、ワークロード、メモリ、ネットワーク管理に関するシステム機会と課題について論じる。
  論文  参考訳（メタデータ） (2025-01-17T13:32:28Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• Online Energy Optimization in GPUs: A Multi-Armed Bandit Approach [15.28157695259566]
  エネルギー消費は、将来のコンピューティングアーキテクチャの開発において重要な設計基準と制限要因となっている。 本稿では,HPCシナリオにおけるGPUのための新しい,実用的なオンラインエネルギー最適化問題について検討する。 EnergyUCBは、GPUコア周波数をリアルタイムで動的に調整し、パフォーマンスへの影響を最小限に抑えるように設計されている。
  論文  参考訳（メタデータ） (2024-10-03T17:05:34Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• The Ecological Footprint of Neural Machine Translation Systems [2.132096006921048]
  本章では、ニューラルMTシステムの生態的フットプリントに焦点を当てる。 トレーニング中のパワードレインとニューラルMTモデルによる推論から始まり、環境への影響に向かって進む。 全体のCO2排出量はアイルランドとオランダで計算される。
  論文  参考訳（メタデータ） (2022-02-04T14:56:41Z)
• Exploring market power using deep reinforcement learning for intelligent bidding strategies [69.3939291118954]
  キャパシティが1年の平均的な電力価格に影響を及ぼすことがわかりました。 $sim$25%と$sim$11%の値は、市場構造と国によって異なる可能性がある。 平均市場価格の約2倍の市場上限の使用は、この効果を著しく減少させ、競争力のある市場を維持する効果があることを観察する。
  論文  参考訳（メタデータ） (2020-11-08T21:07:42Z)
• Optimizing carbon tax for decentralized electricity markets using an agent-based model [69.3939291118954]
  人為的気候変動の影響を避けるためには、化石燃料から低炭素技術への移行が必要である。 炭素税は、この移行を支援する効率的な方法であることが示されている。 NSGA-IIの遺伝的アルゴリズムを用いて、電力混合の平均電気価格と相対炭素強度を最小化する。
  論文  参考訳（メタデータ） (2020-05-28T06:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。