論文の概要: Modernizing Amdahl's Law: How AI Scaling Laws Shape Computer Architecture

• arxiv url: http://arxiv.org/abs/2603.20654v2
• Date: Fri, 27 Mar 2026 03:27:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 04:40:27.638954
• Title: Modernizing Amdahl's Law: How AI Scaling Laws Shape Computer Architecture
• Title（参考訳）: Amdahlの法則の近代化 - AIスケーリング法則がコンピュータアーキテクチャを形作る方法
• Authors: Chien-Ping Lu,
• Abstract要約: アムダールの法則はシリアルワークと平行ワークの間の固定された分解を仮定する。 現代のシステムは、特別なアクセラレーターをプログラム可能な計算、テンソルデータパス、進化するパイプラインと組み合わせている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classical Amdahl's Law assumes a fixed decomposition between serial and parallel work and homogeneous replication; historically, it bounds how much parallel speedup is attainable. Modern systems instead combine specialized accelerators with programmable compute, tensor datapaths, and evolving pipelines, while empirical scaling laws shift which stages absorb marginal compute. The central tension is therefore not the serial-versus-parallel split alone, but resource allocation across heterogeneous hardware, given efficiency differences, and workload structures that determine how effectively additional compute can be converted into value. We reformulate Amdahl's Law for modern heterogeneous systems with scalable workloads. The analysis yields a finite collapse threshold: beyond a critical scalable fraction, specialization becomes suboptimal for any efficiency advantage of specialized hardware over programmable compute, and optimal specialized investment falls to zero, a phase transition rather than an asymptotic tail. We use this framework to interpret increasing GPU programmability and why domain-specific AI accelerators have not displaced GPUs.
• Abstract（参考訳）: 古典的なアムダールの法則は、直列と平行な作業と均質な複製の間の固定された分解を仮定する。 現代のシステムは、特別な加速器をプログラム可能な計算、テンソルデータパス、進化するパイプラインと組み合わせ、一方経験的なスケーリング法則は、限界計算を吸収する段階をシフトさせる。 したがって、中央の張力はシリアル対並列の分裂だけでは無く、不均一なハードウェア、与えられた効率の相違、追加の計算をいかに効果的に価値に変換できるかを決定するワークロード構造にリソースを割り当てる。 スケーラブルなワークロードを持つ現代ヘテロジニアスシステムに対するAmdahlの法則を再構築する。 この分析は有限の崩壊しきい値をもたらす: 臨界のスケーラブルな分数を超えて、特殊化はプログラム可能な計算よりも特別なハードウェアの利点に最適であり、最適な特殊投資は漸近的な尾ではなく位相遷移であるゼロに落ちる。 このフレームワークは、GPUプログラマビリティの向上と、なぜドメイン固有のAIアクセラレータがGPUを置き換えていないのかを解釈するために使用します。

関連論文リスト

• Parallel-in-Time Nonlinear Optimal Control via GPU-native Sequential Convex Programming [2.8852807790754618]
  本稿では,連続凸プログラミングと乗算器のコンセンサスに基づく交互方向法を組み合わせた,フルGPUネイティブなトラジェクトリ最適化フレームワークを提案する。 本研究は,有人エッジコンピューティングプラットフォームを用いて,四重項アジャイル飛行タスクと火星搭載降下問題の解法を検証した。 ベンチマークでは、高度に最適化された12コアのCPUベースラインよりも、持続的な4倍のスループットのスピードアップとエネルギー消費の51%削減が明らかにされている。
  論文  参考訳（メタデータ） (2026-03-11T12:39:14Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• Scaling Probabilistic Circuits via Monarch Matrices [109.65822339230853]
  確率回路(PC)は確率分布の抽出可能な表現である。 そこで本研究では,PCの和ブロックに対する新しいスパースパラメータと構造化パラメータ化を提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:39:15Z)
• Differentiable and accelerated spherical harmonic and Wigner transforms [7.636068929252914]
  球面データのモデリングと解析には、機械学習やその他の微分可能なプログラミングタスクのための勾配の効率的な計算が必要である。 球面上の一般化フーリエ変換の高速化と微分可能計算のための新しいアルゴリズムを開発した。 代替のCコードに対して400倍の加速をベンチマークすると、最大400倍の加速が観測される。
  論文  参考訳（メタデータ） (2023-11-24T18:59:04Z)
• High-performance symbolic-numerics via multiple dispatch [52.77024349608834]
  Symbolics.jlは拡張可能なシンボルシステムで、動的多重ディスパッチを使用してドメインのニーズに応じて振る舞いを変更する。 実装に依存しないアクションでジェネリックapiを形式化することで、システムに最適化されたデータ構造を遡及的に追加できることを示します。 従来の用語書き換えシンプリファイアと電子グラフベースの用語書き換えシンプリファイアをスワップする機能を実証する。
  論文  参考訳（メタデータ） (2021-05-09T14:22:43Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。