論文の概要: Compute Requirements for Algorithmic Innovation in Frontier AI Models
- arxiv url: http://arxiv.org/abs/2507.10618v1
- Date: Sun, 13 Jul 2025 21:28:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-16 19:46:02.783556
- Title: Compute Requirements for Algorithmic Innovation in Frontier AI Models
- Title（参考訳）: 最先端AIモデルにおけるアルゴリズム革新のための計算要求
- Authors: Peter Barnett,
- Abstract要約: Llama 3とDeepSeek-V3で使用される36の事前学習アルゴリズムのイノベーションをリストアップする。
それぞれのイノベーションに対して、開発で使用されるFLOPと、使用するハードウェアのFLOP/sの両方を見積もる。
我々の分析によると、計算能力だけでAIアルゴリズムの進歩が劇的に遅くなる可能性は低い。
- 参考スコア（独自算出の注目度）: 2.44755919161855
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Algorithmic innovation in the pretraining of large language models has driven a massive reduction in the total compute required to reach a given level of capability. In this paper we empirically investigate the compute requirements for developing algorithmic innovations. We catalog 36 pre-training algorithmic innovations used in Llama 3 and DeepSeek-V3. For each innovation we estimate both the total FLOP used in development and the FLOP/s of the hardware utilized. Innovations using significant resources double in their requirements each year. We then use this dataset to investigate the effect of compute caps on innovation. Our analysis suggests that compute caps alone are unlikely to dramatically slow AI algorithmic progress. Even stringent compute caps -- such as capping total operations to the compute used to train GPT-2 or capping hardware capacity to 8 H100 GPUs -- could still have allowed for half of the cataloged innovations.
- Abstract（参考訳）: 大規模言語モデルの事前訓練におけるアルゴリズムの革新は、与えられた能力レベルに達するために必要な計算総量が大幅に削減された。
本稿では,アルゴリズムの革新開発における計算要件を実証的に検討する。
Llama 3とDeepSeek-V3で使用される36の事前学習アルゴリズムのイノベーションをリストアップする。
それぞれのイノベーションに対して、開発で使用されるFLOPと、使用するハードウェアのFLOP/sの両方を見積もる。
重要なリソースを使用するイノベーションは、毎年、要件を2倍にします。
次に、このデータセットを使用して、コンピューティングキャップがイノベーションに与える影響を調査します。
我々の分析によると、計算能力だけでAIアルゴリズムの進歩が劇的に遅くなる可能性は低い。
GPT-2のトレーニングやハードウェア容量の8H100 GPUへのキャプションなど、厳格な計算上限さえも、カタログ化されたイノベーションの半分を許容する可能性がある。
関連論文リスト
- Quantum Simulation and Optimization of Water Distribution Networks [0.0]
量子コンピューティングアルゴリズムをNewton-Raphson Global Gradient Algorithm(NR-GGA)のサブルーチンとして用いる可能性について検討する。
NR-GGAを改善するために3種類の異なる量子サブルーチンが使用された。
また、量子アニーリングに基づく高階線形回路のシミュレーションを行い、小さな3ノードネットワークのLast-Cost Design(LCD)を決定する。
論文 参考訳（メタデータ） (2025-07-09T14:02:16Z) - Rethinking LLM Advancement: Compute-Dependent and Independent Paths to Progress [10.461430685627857]
本研究は,大規模言語モデルが,計算制約環境におけるアルゴリズム的革新によって進展するか否かを評価する。
本稿では,計算に依存しないイノベーションから高い計算量で不均質な利益をもたらす計算依存のイノベーションを区別する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-07T02:26:17Z) - IMPLY-based Approximate Full Adders for Efficient Arithmetic Operations in Image Processing and Machine Learning [0.5497663232622965]
我々は2つのSAPPI(Serial APProximate IMPLY-based full adder)を提案する。
我々の設計では、正確なアルゴリズムと比較してステップ数を39%-41%削減し、エネルギー消費を39%-42%削減する。
提案手法は、MNISTデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)に適用した場合、最大296mJ(21%)の省エネと13億(20%)の計算ステップを削減できることを示す。
論文 参考訳（メタデータ） (2024-12-20T13:36:40Z) - Two-Timescale Model Caching and Resource Allocation for Edge-Enabled AI-Generated Content Services [55.0337199834612]
Generative AI(GenAI)は、カスタマイズされたパーソナライズされたAI生成コンテンツ(AIGC)サービスを可能にするトランスフォーメーション技術として登場した。
これらのサービスは数十億のパラメータを持つGenAIモデルの実行を必要とし、リソース制限の無線エッジに重大な障害を生じさせる。
我々は、AIGC品質とレイテンシメトリクスのトレードオフをバランスさせるために、AIGCサービスのジョイントモデルキャッシングとリソースアロケーションの定式化を導入する。
論文 参考訳（メタデータ） (2024-11-03T07:01:13Z) - InRank: Incremental Low-Rank Learning [85.6380047359139]
勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。
既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。
InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
論文 参考訳（メタデータ） (2023-06-20T03:03:04Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - 3U-EdgeAI: Ultra-Low Memory Training, Ultra-Low BitwidthQuantization,
and Ultra-Low Latency Acceleration [8.419854797930668]
エッジ上のディープニューラルネットワーク(DNN)ベースのAIアプリケーションは、低コストのコンピューティングプラットフォームと高品質なサービスの両方を必要とする。
本稿では、トレーニング、量子化、加速器設計の重要性を強調し、エッジ上のAI分野におけるさらなる研究のブレークスルーを求める。
論文 参考訳（メタデータ） (2021-05-11T03:22:30Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳（メタデータ） (2021-01-08T18:55:07Z) - Measuring the Algorithmic Efficiency of Neural Networks [1.1108287264548806]
分類器をAlexNetレベルにトレーニングするために必要な浮動小数点演算数は,2012年から2019年にかけて44倍に減少した。
これは、アルゴリズムの効率が7年間に16ヶ月毎に倍増することに対応する。
我々は、ハードウェアとアルゴリズムの効率が乗じて増加し、意味のある地平線を越えて同様のスケールにすることができることを観察し、AIの進歩のよいモデルが両方の測度を統合するべきであることを示唆している。
論文 参考訳（メタデータ） (2020-05-08T22:26:37Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z) - ESSOP: Efficient and Scalable Stochastic Outer Product Architecture for
Deep Learning [1.2019888796331233]
行列ベクトル乗算(MVM)とベクトルベクトル外積(VVOP)は、ディープニューラルネットワーク(DNN)のトレーニングに関連する2つの最も高価な演算である。
DNNの重み更新において,多くの最先端ネットワークで要求される活性化機能を備えたSCに効率的な手法を導入する。
我々のアーキテクチャは、乱数を再使用し、ビットシフトスケーリングによって特定のFP乗算演算を置き換えることで計算コストを削減する。
14nm技術ノードにおけるESSOPのハードウェア設計は、高度にパイプライン化されたFP16乗算器と比較して、ESSOPは82.2%、93.7%エネルギー効率が良いことを示している。
論文 参考訳（メタデータ） (2020-03-25T07:54:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。