論文の概要: Modernizing Amdahl's Law: How AI Scaling Laws Shape Computer Architecture

• arxiv url: http://arxiv.org/abs/2603.20654v3
• Date: Mon, 30 Mar 2026 09:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 18:41:08.414221
• Title: Modernizing Amdahl's Law: How AI Scaling Laws Shape Computer Architecture
• Title（参考訳）: Amdahlの法則の近代化 - AIスケーリング法則がコンピュータアーキテクチャを形作る方法
• Abstract要約: アムダールの法則は、固定された直列並列分解の下でのスピードアップの限界を定量化する。 現代のシステムは、ワークロード自体が変化する間、異種ハードウェア全体にわたって制約されたリソースを割り当てる。 本論文は、このシフトに関するアムダールの法則を再考する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classical Amdahl's Law quantifies the limit of speedup under a fixed serial-parallel decomposition and homogeneous replication. Modern systems instead allocate constrained resources across heterogeneous hardware while the workload itself changes: some stages become effectively bounded, whereas others continue to absorb additional compute because more compute still creates value. This paper reformulates Amdahl's Law around that shift. We replace processor count with an allocation variable, replace the classical parallel fraction with a value-scalable fraction, and model specialization by a relative efficiency ratio between dedicated and programmable compute. The resulting objective yields a finite collapse threshold. For a specialized efficiency ratio R, there is a critical scalable fraction S_c = 1 - 1/R beyond which the optimal allocation to specialization becomes zero. Equivalently, for a given scalable fraction S, the minimum efficiency ratio required to justify specialization is R_c = 1/(1-S). Thus, as value-scalable workload grows, specialization faces a rising bar. The point is not that programmable hardware is always superior, but that specialization must keep re-earning its place against a moving programmable substrate. The model helps explain increasing GPU programmability, the migration of value-producing work toward learned late-stage computation, and why AI domain-specific accelerators do not simply displace the GPU.
• Abstract（参考訳）: 古典的なアムダールの法則は、固定された直列並列分解と均質レプリケーションの下でのスピードアップの限界を定量化する。 現代のシステムは、不均一なハードウェア全体にわたって制約されたリソースを割り当てる一方で、ワークロード自体が変化する。 本論文は、このシフトに関するアムダールの法則を再考する。 プロセッサカウントを割り当て変数に置き換え、古典的並列分率を値スケーリング可能な分数に置き換え、専用計算とプログラマブル計算の相対効率比によるモデル特殊化を行う。 結果の目的は、有限の崩壊しきい値となる。 特殊効率比 R に対して、限界スケーラブルな分数 S_c = 1 − 1/R が存在し、特殊化への最適割り当てはゼロとなる。 同様に、あるスケーラブルな分数 S に対して、特殊化を正当化するために必要な最小効率比は R_c = 1/(1-S) である。 したがって、バリュースケーラブルなワークロードが増加するにつれて、特殊化は上昇するバーに直面します。 重要なのは、プログラム可能なハードウェアが常に優れているわけではないことだ。 このモデルは、GPUプログラマビリティの向上、学習した後期計算へのバリュー生成作業の移行、AIドメイン固有のアクセラレータがGPUを置き換えない理由を説明するのに役立つ。

関連論文リスト

• Federated stochastic bilevel optimization with fully first-order gradients [57.1147486991903]
  フェデレーション行列の2レベル最適化は、機械学習に広く応用されているため、近年積極的に研究されている。 既存のフェデレートされた双レベル最適化アルゴリズムは、二階ヘッセン行列とヤコビ行列の計算を必要とする。 本稿では,一階オーラクルのみに依存する新しいフェデレーション収束分散誘導二段降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-09-14T21:12:59Z)
• Difference-of-Convex Regularization for Graph Learning by Differentiable Programming [1.9651461643699661]
  直接反転なしでラプラシアン擬似逆のスペクトル作用を近似する差分凸正規化器(DCR)グラフ学習フレームワークを提案する。 Laplacian-Regularized Non negative Least Squares (LR-NNLS) を二重表現で再構成することにより、DCRはインスタンス固有の推論から擬似逆学習を分離する。 DCRアルゴリズムの安定性と一意な固定点の存在を理論的に保証する。
  論文  参考訳（メタデータ） (2026-08-13T03:10:05Z)
• cuRegOT: A GPU-Accelerated Solver for Entropic-Regularized Optimal Transport [8.189956090077677]
  cuRegOTは、エントロピー正規化OTに適した高性能GPUソルバである。 我々は、CPUボトルネックを軽減するために、アモータイズされたシンボリック分析戦略を含むアルゴリズムとアーキテクチャの最適化スイートを紹介する。 CuRegOTは、さまざまなベンチマークタスクで最先端のGPUベースのソルバよりも大幅にスピードアップする。
  論文  参考訳（メタデータ） (2026-05-09T08:27:39Z)
• Parallel-in-Time Nonlinear Optimal Control via GPU-native Sequential Convex Programming [2.8852807790754618]
  本稿では,連続凸プログラミングと乗算器のコンセンサスに基づく交互方向法を組み合わせた,フルGPUネイティブなトラジェクトリ最適化フレームワークを提案する。 本研究は,有人エッジコンピューティングプラットフォームを用いて,四重項アジャイル飛行タスクと火星搭載降下問題の解法を検証した。 ベンチマークでは、高度に最適化された12コアのCPUベースラインよりも、持続的な4倍のスループットのスピードアップとエネルギー消費の51%削減が明らかにされている。
  論文  参考訳（メタデータ） (2026-03-11T12:39:14Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• Scaling Probabilistic Circuits via Monarch Matrices [109.65822339230853]
  確率回路(PC)は確率分布の抽出可能な表現である。 そこで本研究では,PCの和ブロックに対する新しいスパースパラメータと構造化パラメータ化を提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:39:15Z)
• ATA: Adaptive Task Allocation for Efficient Resource Management in Distributed Machine Learning [54.08906841213777]
  非同期手法は分散機械学習における計算の並列化の基礎となる。 本稿では,不均一かつランダムな計算時間分布に適応するATA(Adaptive Task Allocation)を提案する。 ATAは最適なタスク割り当てを識別し、計算時間に関する事前の知識を持つメソッドと互換性があることを示す。
  論文  参考訳（メタデータ） (2025-02-02T12:22:26Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Differentiable and accelerated spherical harmonic and Wigner transforms [7.636068929252914]
  球面データのモデリングと解析には、機械学習やその他の微分可能なプログラミングタスクのための勾配の効率的な計算が必要である。 球面上の一般化フーリエ変換の高速化と微分可能計算のための新しいアルゴリズムを開発した。 代替のCコードに対して400倍の加速をベンチマークすると、最大400倍の加速が観測される。
  論文  参考訳（メタデータ） (2023-11-24T18:59:04Z)
• ReLU and Addition-based Gated RNN [1.484528358552186]
  従来のリカレントゲートの乗算とシグモイド関数を加算とReLUアクティベーションで置き換える。 このメカニズムは、シーケンス処理のための長期メモリを維持するために設計されているが、計算コストは削減されている。
  論文  参考訳（メタデータ） (2023-08-10T15:18:16Z)
• A Unified Framework for Implicit Sinkhorn Differentiation [58.56866763433335]
  暗黙の微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。 特にGPUメモリなどのリソースが不足している場合には,計算効率が向上する。
  論文  参考訳（メタデータ） (2022-05-13T14:45:31Z)
• High-performance symbolic-numerics via multiple dispatch [52.77024349608834]
  Symbolics.jlは拡張可能なシンボルシステムで、動的多重ディスパッチを使用してドメインのニーズに応じて振る舞いを変更する。 実装に依存しないアクションでジェネリックapiを形式化することで、システムに最適化されたデータ構造を遡及的に追加できることを示します。 従来の用語書き換えシンプリファイアと電子グラフベースの用語書き換えシンプリファイアをスワップする機能を実証する。
  論文  参考訳（メタデータ） (2021-05-09T14:22:43Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Concurrent Alternating Least Squares for multiple simultaneous Canonical Polyadic Decompositions [2.3513645401551333]
  我々は,Matlabにインターフェースを提供するConcurrent ALSアルゴリズムとライブラリを紹介する。 我々は,同じテンソルの複数の分解をアルゴリズムレベルで融合させて算術強度を増大させる方法を示す。 人工データセットと実データセットの実験結果は、算術強度の増加による完了までの時間短縮を示す。
  論文  参考訳（メタデータ） (2020-10-09T16:55:46Z)
• Randomized Automatic Differentiation [22.95414996614006]
  我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。 RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。 本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:03:44Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。