論文の概要: Measuring the Algorithmic Efficiency of Neural Networks
- arxiv url: http://arxiv.org/abs/2005.04305v1
- Date: Fri, 8 May 2020 22:26:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 11:41:52.912564
- Title: Measuring the Algorithmic Efficiency of Neural Networks
- Title(参考訳): ニューラルネットワークのアルゴリズム効率の測定
- Authors: Danny Hernandez, Tom B. Brown
- Abstract要約: 分類器をAlexNetレベルにトレーニングするために必要な浮動小数点演算数は,2012年から2019年にかけて44倍に減少した。
これは、アルゴリズムの効率が7年間に16ヶ月毎に倍増することに対応する。
我々は、ハードウェアとアルゴリズムの効率が乗じて増加し、意味のある地平線を越えて同様のスケールにすることができることを観察し、AIの進歩のよいモデルが両方の測度を統合するべきであることを示唆している。
- 参考スコア(独自算出の注目度): 1.1108287264548806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Three factors drive the advance of AI: algorithmic innovation, data, and the
amount of compute available for training. Algorithmic progress has
traditionally been more difficult to quantify than compute and data. In this
work, we argue that algorithmic progress has an aspect that is both
straightforward to measure and interesting: reductions over time in the compute
needed to reach past capabilities. We show that the number of floating-point
operations required to train a classifier to AlexNet-level performance on
ImageNet has decreased by a factor of 44x between 2012 and 2019. This
corresponds to algorithmic efficiency doubling every 16 months over a period of
7 years. By contrast, Moore's Law would only have yielded an 11x cost
improvement. We observe that hardware and algorithmic efficiency gains multiply
and can be on a similar scale over meaningful horizons, which suggests that a
good model of AI progress should integrate measures from both.
- Abstract(参考訳): aiの進歩には3つの要因がある。アルゴリズムの革新、データ、トレーニングに利用可能な計算量だ。
アルゴリズムの進歩は従来、計算やデータよりも定量化が困難だった。
本研究では,アルゴリズムの進歩は,過去の能力に到達するために必要な計算時間の短縮という,測定が容易かつ興味深い側面を持っている,と論じる。
分類器のAlexNetレベルのパフォーマンスをトレーニングするために必要な浮動小数点演算数は,2012年から2019年にかけて44倍に減少した。
これはアルゴリズムの効率が16ヶ月毎に7年間に倍増することに相当する。
対照的にムーアの法則は11倍のコスト改善しか得られなかった。
我々は、ハードウェアとアルゴリズムの効率が乗じて増加し、意味のある地平線を越えて同様のスケールにすることができることを観察し、AIの進歩のよいモデルが両方の測度を統合するべきであることを示唆している。
関連論文リスト
- Approximating Metric Magnitude of Point Sets [4.522729058300309]
計量等級は、多くの望ましい幾何学的性質を持つ点雲の「大きさ」の尺度である。
様々な数学的文脈に適応しており、最近の研究は機械学習と最適化アルゴリズムを強化することを示唆している。
本稿では, 等級問題について検討し, 効率よく近似する方法を示し, 凸最適化問題として扱うことができるが, 部分モジュラ最適化としては適用できないことを示す。
本稿では,高速に収束し精度の高い反復近似アルゴリズムと,計算をより高速に行うサブセット選択法という,2つの新しいアルゴリズムについて述べる。
論文 参考訳(メタデータ) (2024-09-06T17:15:28Z) - On the Efficiency of Convolutional Neural Networks [0.0]
コブネットが使用する膨大な計算と相まって、ディープラーニングの研究者も効率性に興味を持つようになった。
単一カーネルにおける残差ブロックのすべての層を実装するために,ブロック融合アルゴリズムを考案した。
ブロック融合カーネルを用いたConvFirstモデルでは,演算の複雑さが小さく,計算効率が向上する。
論文 参考訳(メタデータ) (2024-04-04T17:39:41Z) - Algorithmic progress in language models [1.7402659488193557]
本研究では、ディープラーニングの出現以来、事前学習言語モデルのアルゴリズムが改善した速度について検討する。
WikitextとPenn Treebankの2012-2023年における200以上の言語モデル評価データセットを使用する。
設定された性能閾値に達するのに必要な計算量は,約8ヶ月毎に半減し,95%の信頼区間が約5~14ヶ月であることがわかった。
論文 参考訳(メタデータ) (2024-03-09T06:26:21Z) - Algorithmic progress in computer vision [0.8547032097715571]
ImageNetにおける画像分類のアルゴリズム的進歩について検討する。
アルゴリズムの改良は、コンピュータビジョンの進歩のための計算のスケーリングと同じくらい重要であることが判明した。
計算増強アルゴリズムの進歩は、ムーアの法則に付随する速度の2倍の速度で行われる。
論文 参考訳(メタデータ) (2022-12-10T00:18:05Z) - Pushing the Limits of Asynchronous Graph-based Object Detection with
Event Cameras [62.70541164894224]
低計算を維持しながら、そのようなモデルの深さと複雑さを拡大できるアーキテクチャ選択をいくつか導入する。
我々の手法は、密度の高いグラフニューラルネットワークよりも3.7倍高速に動作し、前方通過はわずか8.4msである。
論文 参考訳(メタデータ) (2022-11-22T15:14:20Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳(メタデータ) (2022-10-21T15:56:13Z) - Waypoint Planning Networks [66.72790309889432]
本稿では,ローカルカーネル(A*のような古典的アルゴリズム)と学習アルゴリズムを用いたグローバルカーネルを用いたLSTMに基づくハイブリッドアルゴリズムを提案する。
我々は、WPNとA*を比較し、動き計画ネットワーク(MPNet)やバリューネットワーク(VIN)を含む関連する作業と比較する。
WPN の探索空間は A* よりもかなり小さいが、ほぼ最適な結果が得られることが示されている。
論文 参考訳(メタデータ) (2021-05-01T18:02:01Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳(メタデータ) (2021-01-08T18:55:07Z) - Efficient Computation of Expectations under Spanning Tree Distributions [67.71280539312536]
本稿では,エッジファクター,非プロジェクティブ・スパンニングツリーモデルにおいて,一階期待と二階期待の重要なケースに対する統一アルゴリズムを提案する。
我々のアルゴリズムは勾配と期待の基本的な関係を利用しており、効率的なアルゴリズムを導出することができる。
論文 参考訳(メタデータ) (2020-08-29T14:58:26Z) - Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth
Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。
本研究の結果は, 同時一次および二重側収束の形で表される。
論文 参考訳(メタデータ) (2020-08-23T20:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。