論文の概要: Modernizing Amdahl's Law: How AI Scaling Laws Shape Computer Architecture

• arxiv url: http://arxiv.org/abs/2603.20654v3
• Date: Mon, 30 Mar 2026 09:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 18:41:08.414221
• Title: Modernizing Amdahl's Law: How AI Scaling Laws Shape Computer Architecture
• Title（参考訳）: Amdahlの法則の近代化 - AIスケーリング法則がコンピュータアーキテクチャを形作る方法
• Authors: Chien-Ping Lu,
• Abstract要約: アムダールの法則は、固定された直列並列分解の下でのスピードアップの限界を定量化する。 現代のシステムは、ワークロード自体が変化する間、異種ハードウェア全体にわたって制約されたリソースを割り当てる。 本論文は、このシフトに関するアムダールの法則を再考する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classical Amdahl's Law quantifies the limit of speedup under a fixed serial-parallel decomposition and homogeneous replication. Modern systems instead allocate constrained resources across heterogeneous hardware while the workload itself changes: some stages become effectively bounded, whereas others continue to absorb additional compute because more compute still creates value. This paper reformulates Amdahl's Law around that shift. We replace processor count with an allocation variable, replace the classical parallel fraction with a value-scalable fraction, and model specialization by a relative efficiency ratio between dedicated and programmable compute. The resulting objective yields a finite collapse threshold. For a specialized efficiency ratio R, there is a critical scalable fraction S_c = 1 - 1/R beyond which the optimal allocation to specialization becomes zero. Equivalently, for a given scalable fraction S, the minimum efficiency ratio required to justify specialization is R_c = 1/(1-S). Thus, as value-scalable workload grows, specialization faces a rising bar. The point is not that programmable hardware is always superior, but that specialization must keep re-earning its place against a moving programmable substrate. The model helps explain increasing GPU programmability, the migration of value-producing work toward learned late-stage computation, and why AI domain-specific accelerators do not simply displace the GPU.
• Abstract（参考訳）: 古典的なアムダールの法則は、固定された直列並列分解と均質レプリケーションの下でのスピードアップの限界を定量化する。 現代のシステムは、不均一なハードウェア全体にわたって制約されたリソースを割り当てる一方で、ワークロード自体が変化する。 本論文は、このシフトに関するアムダールの法則を再考する。 プロセッサカウントを割り当て変数に置き換え、古典的並列分率を値スケーリング可能な分数に置き換え、専用計算とプログラマブル計算の相対効率比によるモデル特殊化を行う。 結果の目的は、有限の崩壊しきい値となる。 特殊効率比 R に対して、限界スケーラブルな分数 S_c = 1 − 1/R が存在し、特殊化への最適割り当てはゼロとなる。 同様に、あるスケーラブルな分数 S に対して、特殊化を正当化するために必要な最小効率比は R_c = 1/(1-S) である。 したがって、バリュースケーラブルなワークロードが増加するにつれて、特殊化は上昇するバーに直面します。 重要なのは、プログラム可能なハードウェアが常に優れているわけではないことだ。 このモデルは、GPUプログラマビリティの向上、学習した後期計算へのバリュー生成作業の移行、AIドメイン固有のアクセラレータがGPUを置き換えない理由を説明するのに役立つ。

関連論文リスト

• Parallel-in-Time Nonlinear Optimal Control via GPU-native Sequential Convex Programming [2.8852807790754618]
  本稿では,連続凸プログラミングと乗算器のコンセンサスに基づく交互方向法を組み合わせた,フルGPUネイティブなトラジェクトリ最適化フレームワークを提案する。 本研究は,有人エッジコンピューティングプラットフォームを用いて,四重項アジャイル飛行タスクと火星搭載降下問題の解法を検証した。 ベンチマークでは、高度に最適化された12コアのCPUベースラインよりも、持続的な4倍のスループットのスピードアップとエネルギー消費の51%削減が明らかにされている。
  論文  参考訳（メタデータ） (2026-03-11T12:39:14Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• Scaling Probabilistic Circuits via Monarch Matrices [109.65822339230853]
  確率回路(PC)は確率分布の抽出可能な表現である。 そこで本研究では,PCの和ブロックに対する新しいスパースパラメータと構造化パラメータ化を提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:39:15Z)
• Differentiable and accelerated spherical harmonic and Wigner transforms [7.636068929252914]
  球面データのモデリングと解析には、機械学習やその他の微分可能なプログラミングタスクのための勾配の効率的な計算が必要である。 球面上の一般化フーリエ変換の高速化と微分可能計算のための新しいアルゴリズムを開発した。 代替のCコードに対して400倍の加速をベンチマークすると、最大400倍の加速が観測される。
  論文  参考訳（メタデータ） (2023-11-24T18:59:04Z)
• High-performance symbolic-numerics via multiple dispatch [52.77024349608834]
  Symbolics.jlは拡張可能なシンボルシステムで、動的多重ディスパッチを使用してドメインのニーズに応じて振る舞いを変更する。 実装に依存しないアクションでジェネリックapiを形式化することで、システムに最適化されたデータ構造を遡及的に追加できることを示します。 従来の用語書き換えシンプリファイアと電子グラフベースの用語書き換えシンプリファイアをスワップする機能を実証する。
  論文  参考訳（メタデータ） (2021-05-09T14:22:43Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。