論文の概要: Modernizing Amdahl's Law: How AI Scaling Laws Shape Computer Architecture

• arxiv url: http://arxiv.org/abs/2603.20654v2
• Date: Fri, 27 Mar 2026 03:27:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 04:40:27.638954
• Title: Modernizing Amdahl's Law: How AI Scaling Laws Shape Computer Architecture
• Title（参考訳）: Amdahlの法則の近代化 - AIスケーリング法則がコンピュータアーキテクチャを形作る方法
• Abstract要約: アムダールの法則はシリアルワークと平行ワークの間の固定された分解を仮定する。 現代のシステムは、特別なアクセラレーターをプログラム可能な計算、テンソルデータパス、進化するパイプラインと組み合わせている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classical Amdahl's Law assumes a fixed decomposition between serial and parallel work and homogeneous replication; historically, it bounds how much parallel speedup is attainable. Modern systems instead combine specialized accelerators with programmable compute, tensor datapaths, and evolving pipelines, while empirical scaling laws shift which stages absorb marginal compute. The central tension is therefore not the serial-versus-parallel split alone, but resource allocation across heterogeneous hardware, given efficiency differences, and workload structures that determine how effectively additional compute can be converted into value. We reformulate Amdahl's Law for modern heterogeneous systems with scalable workloads. The analysis yields a finite collapse threshold: beyond a critical scalable fraction, specialization becomes suboptimal for any efficiency advantage of specialized hardware over programmable compute, and optimal specialized investment falls to zero, a phase transition rather than an asymptotic tail. We use this framework to interpret increasing GPU programmability and why domain-specific AI accelerators have not displaced GPUs.
• Abstract（参考訳）: 古典的なアムダールの法則は、直列と平行な作業と均質な複製の間の固定された分解を仮定する。 現代のシステムは、特別な加速器をプログラム可能な計算、テンソルデータパス、進化するパイプラインと組み合わせ、一方経験的なスケーリング法則は、限界計算を吸収する段階をシフトさせる。 したがって、中央の張力はシリアル対並列の分裂だけでは無く、不均一なハードウェア、与えられた効率の相違、追加の計算をいかに効果的に価値に変換できるかを決定するワークロード構造にリソースを割り当てる。 スケーラブルなワークロードを持つ現代ヘテロジニアスシステムに対するAmdahlの法則を再構築する。 この分析は有限の崩壊しきい値をもたらす: 臨界のスケーラブルな分数を超えて、特殊化はプログラム可能な計算よりも特別なハードウェアの利点に最適であり、最適な特殊投資は漸近的な尾ではなく位相遷移であるゼロに落ちる。 このフレームワークは、GPUプログラマビリティの向上と、なぜドメイン固有のAIアクセラレータがGPUを置き換えていないのかを解釈するために使用します。

関連論文リスト

• Federated stochastic bilevel optimization with fully first-order gradients [57.1147486991903]
  フェデレーション行列の2レベル最適化は、機械学習に広く応用されているため、近年積極的に研究されている。 既存のフェデレートされた双レベル最適化アルゴリズムは、二階ヘッセン行列とヤコビ行列の計算を必要とする。 本稿では,一階オーラクルのみに依存する新しいフェデレーション収束分散誘導二段降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-09-14T21:12:59Z)
• Difference-of-Convex Regularization for Graph Learning by Differentiable Programming [1.9651461643699661]
  直接反転なしでラプラシアン擬似逆のスペクトル作用を近似する差分凸正規化器(DCR)グラフ学習フレームワークを提案する。 Laplacian-Regularized Non negative Least Squares (LR-NNLS) を二重表現で再構成することにより、DCRはインスタンス固有の推論から擬似逆学習を分離する。 DCRアルゴリズムの安定性と一意な固定点の存在を理論的に保証する。
  論文  参考訳（メタデータ） (2026-08-13T03:10:05Z)
• cuRegOT: A GPU-Accelerated Solver for Entropic-Regularized Optimal Transport [8.189956090077677]
  cuRegOTは、エントロピー正規化OTに適した高性能GPUソルバである。 我々は、CPUボトルネックを軽減するために、アモータイズされたシンボリック分析戦略を含むアルゴリズムとアーキテクチャの最適化スイートを紹介する。 CuRegOTは、さまざまなベンチマークタスクで最先端のGPUベースのソルバよりも大幅にスピードアップする。
  論文  参考訳（メタデータ） (2026-05-09T08:27:39Z)
• Parallel-in-Time Nonlinear Optimal Control via GPU-native Sequential Convex Programming [2.8852807790754618]
  本稿では,連続凸プログラミングと乗算器のコンセンサスに基づく交互方向法を組み合わせた,フルGPUネイティブなトラジェクトリ最適化フレームワークを提案する。 本研究は,有人エッジコンピューティングプラットフォームを用いて,四重項アジャイル飛行タスクと火星搭載降下問題の解法を検証した。 ベンチマークでは、高度に最適化された12コアのCPUベースラインよりも、持続的な4倍のスループットのスピードアップとエネルギー消費の51%削減が明らかにされている。
  論文  参考訳（メタデータ） (2026-03-11T12:39:14Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• Scaling Probabilistic Circuits via Monarch Matrices [109.65822339230853]
  確率回路(PC)は確率分布の抽出可能な表現である。 そこで本研究では,PCの和ブロックに対する新しいスパースパラメータと構造化パラメータ化を提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:39:15Z)
• ATA: Adaptive Task Allocation for Efficient Resource Management in Distributed Machine Learning [54.08906841213777]
  非同期手法は分散機械学習における計算の並列化の基礎となる。 本稿では,不均一かつランダムな計算時間分布に適応するATA(Adaptive Task Allocation)を提案する。 ATAは最適なタスク割り当てを識別し、計算時間に関する事前の知識を持つメソッドと互換性があることを示す。
  論文  参考訳（メタデータ） (2025-02-02T12:22:26Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Differentiable and accelerated spherical harmonic and Wigner transforms [7.636068929252914]
  球面データのモデリングと解析には、機械学習やその他の微分可能なプログラミングタスクのための勾配の効率的な計算が必要である。 球面上の一般化フーリエ変換の高速化と微分可能計算のための新しいアルゴリズムを開発した。 代替のCコードに対して400倍の加速をベンチマークすると、最大400倍の加速が観測される。
  論文  参考訳（メタデータ） (2023-11-24T18:59:04Z)
• ReLU and Addition-based Gated RNN [1.484528358552186]
  従来のリカレントゲートの乗算とシグモイド関数を加算とReLUアクティベーションで置き換える。 このメカニズムは、シーケンス処理のための長期メモリを維持するために設計されているが、計算コストは削減されている。
  論文  参考訳（メタデータ） (2023-08-10T15:18:16Z)
• A Unified Framework for Implicit Sinkhorn Differentiation [58.56866763433335]
  暗黙の微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。 特にGPUメモリなどのリソースが不足している場合には,計算効率が向上する。
  論文  参考訳（メタデータ） (2022-05-13T14:45:31Z)
• High-performance symbolic-numerics via multiple dispatch [52.77024349608834]
  Symbolics.jlは拡張可能なシンボルシステムで、動的多重ディスパッチを使用してドメインのニーズに応じて振る舞いを変更する。 実装に依存しないアクションでジェネリックapiを形式化することで、システムに最適化されたデータ構造を遡及的に追加できることを示します。 従来の用語書き換えシンプリファイアと電子グラフベースの用語書き換えシンプリファイアをスワップする機能を実証する。
  論文  参考訳（メタデータ） (2021-05-09T14:22:43Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Concurrent Alternating Least Squares for multiple simultaneous Canonical Polyadic Decompositions [2.3513645401551333]
  我々は,Matlabにインターフェースを提供するConcurrent ALSアルゴリズムとライブラリを紹介する。 我々は,同じテンソルの複数の分解をアルゴリズムレベルで融合させて算術強度を増大させる方法を示す。 人工データセットと実データセットの実験結果は、算術強度の増加による完了までの時間短縮を示す。
  論文  参考訳（メタデータ） (2020-10-09T16:55:46Z)
• Randomized Automatic Differentiation [22.95414996614006]
  我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。 RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。 本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:03:44Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。