論文の概要: Architecting for Hardware Diversity: Meta's End-to-End Co-Design for High-Performance AI Training on AMD GPUs

• arxiv url: http://arxiv.org/abs/2610.22230v1
• Date: Thu, 15 Oct 2026 17:09:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.217915
• Title: Architecting for Hardware Diversity: Meta's End-to-End Co-Design for High-Performance AI Training on AMD GPUs
• Title（参考訳）: ハードウェア多様性のためのアーキテクチャ: AMD GPU上での高性能AIトレーニングのためのMetaのエンドツーエンドの共同設計
• Abstract要約: 本稿では,AMD Instinct MI350XとNVIDIA B200をケーススタディとして,代替アクセラレータの最適化手法を提案する。 移植された直接ベースラインと比較して、これらのメソッドはエンドツーエンドのトレーニングスループットを最大1.5倍改善する。 私たちのコントリビューションは、オープンソースのPyTorch、Triton、ROCmwarmエコシステムにアップストリームされました。
• 参考スコア（独自算出の注目度）: 22.621169922407642
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta deploys a heterogeneous fleet comprising NVIDIA GPUs, AMD GPUs, and proprietary MTIA accelerators to reduce costs and mitigate vendor lock-in. However, the extensive history of NVIDIA-specific optimizations hinders performance portability to other hardware. This paper presents our methods for optimizing alternative accelerators, using AMD Instinct MI350X versus NVIDIA B200 for recommendation model training as a case study. We propose three reusable principles. First, hardware-model co-design is essential: rather than directly porting models from NVIDIA GPUs, revising model structures and software recipes allows full exploitation of accelerator-specific strengths (e.g., MI350X's 1.6x HBM capacity relative to B200). Second, our analytical performance model enables zero-warmup optimal kernel selection across diverse datatypes and matrix shapes in production models, drastically simplifying tuning. Third, increasingly mature agentic workflows have lowered the barrier to porting from the CUDA ecosystem; we extend these workflows for microarchitecture-aware kernel optimizations and custom shim generation. Compared to the directly ported baseline, these methods deliver up to 1.5x improvement in end-to-end training throughput. To our knowledge, this is the first hyperscaler report on productionizing AMD GPUs for large-scale training. Our contributions have been upstreamed to the open-source PyTorch, Triton, and ROCm ecosystems.
• Abstract（参考訳）: MetaはNVIDIA GPU、AMD GPU、プロプライエタリなMTIAアクセラレータで構成される異機種をデプロイし、コスト削減とベンダのロックインを軽減する。 しかし、NVIDIA固有の最適化の広範な歴史は、他のハードウェアへのパフォーマンスポータビリティを妨げている。 本稿では,AMD Instinct MI350XとNVIDIA B200をケーススタディとして,代替アクセラレータの最適化手法を提案する。 再利用可能な原則を3つ提案する。 NVIDIA GPUから直接モデルを移植するのではなく、モデル構造やソフトウェアレシピを改訂することで、アクセル固有の強度(例えば、MI350XのB200に対する1.6倍HBM容量)をフル活用することができる。 第2に、分析性能モデルにより、多種多様なデータ型と行列形状にまたがるゼロワームアップ最適カーネル選択が可能となり、チューニングを大幅に単純化する。 第三に、成熟するエージェントワークフローはCUDAエコシステムから移植する障壁を減らし、マイクロアーキテクチャを意識したカーネル最適化とカスタムシム生成のためにこれらのワークフローを拡張しました。 直接移植されたベースラインと比較して、これらのメソッドはエンドツーエンドのトレーニングスループットを最大1.5倍改善する。 我々の知る限り、これは大規模なトレーニングのためにAMD GPUを生産する最初のハイパースケーラレポートである。 私たちのコントリビューションは、オープンソースのPyTorch、Triton、ROCmのエコシステムにアップストリームされています。

関連論文リスト

• AsmEvo: Agentic Assembly-Level Optimization of AMD GPU Kernels with Functional Equivalence Verification [21.700338424307517]
  本稿では,AMD GPUカーネル用のエージェント組立レベルウェアAsmEvoを紹介する。 AsmEvoは、コードオブジェクトのリカバリ、メタデータのリカバリ、プロファイリングガイド付きホットウィンドウの編集、正確性に制限されたタイミング、パッチのフォールバックを組み合わせたものだ。 MI308Xでは、AsmEvoは選ばれた30のBenchカーネルの29を改良し、平均1.35倍、最大3.88倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-08-21T03:34:22Z)
• Kernel-Smith: A Unified Recipe for Evolutionary Kernel Optimization [48.656549870801285]
  Kernel-Smithは高性能GPUカーネルと演算子生成のためのフレームワークである。 エージェント側では、Kernel-Smithは実行可能な候補の集団を維持し、反復的にそれらを改善している。 トレーニング側では、長距離進化軌道をステップ中心の監視と強化学習信号に変換する。
  論文  参考訳（メタデータ） (2026-03-30T12:12:49Z)
• An Efficient Heterogeneous Co-Design for Fine-Tuning on a Single GPU [10.811837575220814]
  ドメイン適応には細調整の大型言語モデル(LLM)が不可欠だが、そのメモリ集約性はほとんどのGPUの能力を超えている。 単GPU環境向けに設計された新しいシステムであるSlideFormerを紹介する。 GPUをスライディングウィンドウとして扱い、GPUをCPU更新とマルチ層I/Oでオーバーラップする軽量非同期エンジン。
  論文  参考訳（メタデータ） (2026-03-17T12:05:17Z)
• CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
  Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。 AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:05Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning [91.90342432541138]
  モデルサイズとトレーニングデータのスケールアップには、インスタンスレベルの知覚のための高度な基盤モデルがある。 資源制約されたプラットフォームにおける高い計算コスト制限。 我々は,高性能コンピューティングプラットフォームとモバイルデバイスの両方において,効率的なセグメンテーションのための新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-10-16T18:00:00Z)
• Geak: Introducing Triton Kernel AI Agent & Evaluation Benchmarks [11.253534066141668]
  パフォーマンスと生産性の要求を満たすため、低レベルのカーネル開発を自動化することが不可欠である。 主要なクラウドプロバイダ、半導体企業、研究機関は現在、GPUのためのAI駆動コード生成に多大な投資をしている。 本稿では,TritonベースのGPUカーネルとGAAK(効率的なAI中心GPUカーネルの生成)の評価スイートを提案する。
  論文  参考訳（メタデータ） (2025-07-31T02:26:58Z)
• Omniwise: Predicting GPU Kernels Performance with LLMs [0.06666419797034795]
  Omniwiseは、GPUカーネルのパフォーマンス予測に大規模言語モデル(LLM)を適用する、エンド・ツー・エンドの自己教師型微調整パイプラインである。 メモリ帯域幅、キャッシュヒット率、GFLOP、演算強度などの重要なパフォーマンス指標を、コード実行やプロファイリングツールを必要とせずに、カーネルコードから直接予測することができる。 提案手法は,AMD MI250およびMI300Xアーキテクチャ上で実行されるGPUカーネル上での相対誤差の10%以内の予測を90%以上達成する。
  論文  参考訳（メタデータ） (2025-06-25T23:36:44Z)
• Pushing the Performance Envelope of DNN-based Recommendation Systems Inference on GPUs [13.720423381263409]
  我々は、埋め込みステージがGPU推論パイプラインの主要なボトルネックであり続けており、3.2倍の埋め込みのみのパフォーマンス低下につながっていることを示す。 本稿では,プラグ・アンド・プレイ方式のソフトウェアプリフェッチとL2ピンニング技術を提案し,遅延の隠蔽と低減に役立てる。 提案手法により, 埋込ステージでは最大103%, DLRM推論パイプラインでは最大77%の性能向上が図られた。
  論文  参考訳（メタデータ） (2024-10-29T17:13:54Z)
• Asymmetric Masked Distillation for Pre-Training Small Foundation Models [52.56257450614992]
  自己教師型基礎モデルは、マスク付きオートエンコーディングの事前学習パラダイムのおかげで、コンピュータビジョンにおいて大きな可能性を秘めている。 本稿では、下流タスクに効率的に適応できる比較的小さな視覚変換器モデルを事前学習することに焦点を当てる。 自動符号化による比較的小さなモデルの事前学習のための新しい非対称マスク蒸留(AMD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-06T14:44:34Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。