論文の概要: The Computational Limits of Deep Learning
- arxiv url: http://arxiv.org/abs/2007.05558v2
- Date: Wed, 27 Jul 2022 17:26:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 21:14:50.397616
- Title: The Computational Limits of Deep Learning
- Title(参考訳): ディープラーニングの計算限界
- Authors: Neil C. Thompson, Kristjan Greenewald, Keeheon Lee, Gabriel F. Manso
- Abstract要約: この記事では、この依存関係の程度をカタログ化し、幅広いアプリケーションにわたる進歩が、コンピューティングパワーの増大に強く依存していることを示します。
この依存を外挿すると、現在の路線の進展は経済的、技術的、環境的にも急速に持続不可能になりつつあることが分かる。
- 参考スコア(独自算出の注目度): 0.20072624123275526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning's recent history has been one of achievement: from triumphing
over humans in the game of Go to world-leading performance in image
classification, voice recognition, translation, and other tasks. But this
progress has come with a voracious appetite for computing power. This article
catalogs the extent of this dependency, showing that progress across a wide
variety of applications is strongly reliant on increases in computing power.
Extrapolating forward this reliance reveals that progress along current lines
is rapidly becoming economically, technically, and environmentally
unsustainable. Thus, continued progress in these applications will require
dramatically more computationally-efficient methods, which will either have to
come from changes to deep learning or from moving to other machine learning
methods.
- Abstract(参考訳): ディープラーニングの最近の歴史は、goゲームにおける人間の勝利から、画像分類、音声認識、翻訳、その他のタスクにおける世界最先端のパフォーマンスまで、成果の1つでした。
しかし、この進歩はコンピューティングパワーに対する大胆な欲求をもたらした。
この記事では、この依存性の範囲をカタログ化し、幅広いアプリケーションにわたる進歩が、コンピューティングパワーの増加に強く依存していることを示している。
この依存度を推定すると、現在の路線の進歩は急速に経済的、技術的、環境的に持続不可能になりつつあることがわかる。
したがって、これらのアプリケーションの継続的な進歩には、deep learningの変更か、他の機械学習メソッドへの移行によってもたらされる、劇的に計算効率のよい方法が必要となる。
関連論文リスト
- Brain-Inspired Computational Intelligence via Predictive Coding [89.6335791546526]
予測符号化(PC)は、マシンインテリジェンスタスクにおいて有望なパフォーマンスを示している。
PCは様々な脳領域で情報処理をモデル化することができ、認知制御やロボティクスで使用することができる。
論文 参考訳(メタデータ) (2023-08-15T16:37:16Z) - Evolving Artificial Neural Networks To Imitate Human Behaviour In
Shinobi III : Return of the Ninja Master [0.0]
進化的アルゴリズムとその動的ニューラルネットワークへの応用について研究する。
計算資源を有効活用しながら新しい手法を開発すれば,高性能なエージェントの開発が可能となる。
論文 参考訳(メタデータ) (2023-04-03T15:57:49Z) - How Efficient Are Today's Continual Learning Algorithms? [31.120016345185217]
監視された継続学習では、ラベル付きデータのストリームからディープニューラルネットワーク(DNN)を更新する。
継続的学習の背景にある大きな動機の1つは、時間とともに成長するにつれてトレーニングデータセットをスクラッチからリトレーニングするのではなく、ネットワークを新しい情報で効率的に更新できることだ。
本稿では,近年のインクリメンタルなクラス学習手法について検討し,計算,メモリ,記憶の面では非常に非効率であることを示す。
論文 参考訳(メタデータ) (2023-03-29T18:52:10Z) - Towards energy-efficient Deep Learning: An overview of energy-efficient
approaches along the Deep Learning Lifecycle [0.0]
エネルギー効率の高いディープラーニングは研究者から多くの注目を集めており、この2年ですでに多くの進歩を遂げている。
本稿は、これらの進歩に関する情報を文献から収集し、エネルギー消費の削減がいかに可能かを示すことを目的とする。
論文 参考訳(メタデータ) (2023-02-05T11:36:51Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳(メタデータ) (2022-03-08T09:57:48Z) - Transferability in Deep Learning: A Survey [80.67296873915176]
知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。
本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。
我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
論文 参考訳(メタデータ) (2022-01-15T15:03:17Z) - Towards continual task learning in artificial neural networks: current
approaches and insights from neuroscience [0.0]
人間や他の動物が、多様で、しばしば干渉し、知識の範囲を学習する能力は、自然知性の目印である。
人工知能がさまざまなタスクやドメインをまたいで学習できることは、人工知能の明確な目標である。
論文 参考訳(メタデータ) (2021-12-28T13:50:51Z) - Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。
継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
論文 参考訳(メタデータ) (2021-09-12T09:40:18Z) - Mastering Rate based Curriculum Learning [78.45222238426246]
学習の進行という概念には、学習者のサンプル効率の低下につながるいくつかの欠点があると主張する。
本稿では,習得率の概念に基づく新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-08-14T16:34:01Z) - Offline Reinforcement Learning: Tutorial, Review, and Perspectives on
Open Problems [108.81683598693539]
オフラインの強化学習アルゴリズムは、巨大なデータセットを強力な意思決定エンジンにできるという、大きな約束を持っています。
我々は,これらの課題,特に近代的な深層強化学習手法の文脈において,読者にこれらの課題を理解することを目的としている。
論文 参考訳(メタデータ) (2020-05-04T17:00:15Z) - Sequential Interpretability: Methods, Applications, and Future Direction
for Understanding Deep Learning Models in the Context of Sequential Data [1.8275108630751837]
本稿では,シーケンシャルデータを含む深層学習手法の解釈技術について概説する。
非逐次的手法との類似性を同定し、逐次的解釈可能性研究の現在の限界と今後の道について論じる。
論文 参考訳(メタデータ) (2020-04-27T00:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。