論文の概要: Compute-Efficient Deep Learning: Algorithmic Trends and Opportunities
- arxiv url: http://arxiv.org/abs/2210.06640v2
- Date: Tue, 21 Mar 2023 08:24:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 02:54:35.278869
- Title: Compute-Efficient Deep Learning: Algorithmic Trends and Opportunities
- Title（参考訳）: 計算効率の高いディープラーニング: アルゴリズムのトレンドと機会
- Authors: Brian R. Bartoldson, Bhavya Kailkhura, Davis Blalock
- Abstract要約: ニューラルネットワークのトレーニングの経済的および環境的コストは、持続不可能になりつつある。
*アルゴリズム的に効率のよいディープラーニングの研究*は、トレーニングプログラムの意味論の変化を通じて、トレーニングコストを削減しようとしている。
アルゴリズム的に効率的な学習の基本的な構成要素を用いて分類学を開発する。
- 参考スコア（独自算出の注目度）: 18.508401650991434
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although deep learning has made great progress in recent years, the exploding
economic and environmental costs of training neural networks are becoming
unsustainable. To address this problem, there has been a great deal of research
on *algorithmically-efficient deep learning*, which seeks to reduce training
costs not at the hardware or implementation level, but through changes in the
semantics of the training program. In this paper, we present a structured and
comprehensive overview of the research in this field. First, we formalize the
*algorithmic speedup* problem, then we use fundamental building blocks of
algorithmically efficient training to develop a taxonomy. Our taxonomy
highlights commonalities of seemingly disparate methods and reveals current
research gaps. Next, we present evaluation best practices to enable
comprehensive, fair, and reliable comparisons of speedup techniques. To further
aid research and applications, we discuss common bottlenecks in the training
pipeline (illustrated via experiments) and offer taxonomic mitigation
strategies for them. Finally, we highlight some unsolved research challenges
and present promising future directions.
- Abstract（参考訳）: 近年、ディープラーニングは大きな進歩を遂げているが、ニューラルネットワークのトレーニングにおける経済的・環境的コストの爆発は持続不可能になっている。
この問題に対処するために、ハードウェアや実装レベルでではなく、トレーニングプログラムのセマンティクスの変更を通じて、トレーニングコストを削減しようとしている*アルゴリズム的に効率的なディープラーニング*について、多くの研究がなされている。
本稿では,本研究の構造化と包括的概要について述べる。
まず、 *algorithmic speedup* 問題を形式化し、次にアルゴリズム的に効率的なトレーニングの基本的な構成要素を使用して分類法を開発する。
我々の分類は、一見異なる方法の共通性を強調し、現在の研究のギャップを明らかにする。
次に,スピードアップ手法の包括的かつ公正かつ信頼性の高い比較を可能にするために,評価ベストプラクティスを提案する。
研究と応用をさらに支援するため,訓練パイプライン(実験による図示)における共通のボトルネックを議論し,分類学的緩和戦略を提供する。
最後に、未解決の研究課題を強調し、将来有望な方向性を示す。
関連論文リスト
- Amortized nonmyopic active search via deep imitation learning [16.037812098340343]
アクティブ検索は、希少で価値のあるクラスのメンバを集めることを目標とする、特別なアクティブな学習環境を形式化する。
本稿では,ニューラルネットワークをトレーニングして検索学習を行うことにより,このポリシーの償却について検討する。
我々のネットワークは、合成データに基づいて訓練され、非神秘的な決定をもたらす有益な探索戦略を学習する。
論文 参考訳（メタデータ） (2024-05-23T20:10:29Z) - Neural Active Learning Beyond Bandits [69.99592173038903]
ストリームベースとプールベースの両方のアクティブラーニングをニューラルネットワーク近似を用いて検討する。
ストリームベースおよびプールベースアクティブラーニングのためのニューラルネットワークを新たに設計したエクスプロイトと探索に基づく2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-18T21:52:14Z) - Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳（メタデータ） (2023-08-27T03:55:28Z) - Actively Learning Costly Reward Functions for Reinforcement Learning [56.34005280792013]
複雑な実世界の環境でエージェントを訓練することは、桁違いに高速であることを示す。
強化学習の手法を新しい領域に適用することにより、興味深く非自明な解を見つけることができることを示す。
論文 参考訳（メタデータ） (2022-11-23T19:17:20Z) - Pretraining in Deep Reinforcement Learning: A Survey [17.38360092869849]
事前訓練は伝達可能な知識の獲得に有効であることが示されている。
強化学習の性質から, この分野でのプレトレーニングには, 独特な課題が伴う。
論文 参考訳（メタデータ） (2022-11-08T02:17:54Z) - Research Trends and Applications of Data Augmentation Algorithms [77.34726150561087]
我々は,データ拡張アルゴリズムの適用分野,使用するアルゴリズムの種類,重要な研究動向,時間経過に伴う研究の進展,およびデータ拡張文学における研究ギャップを同定する。
我々は、読者がデータ拡張の可能性を理解し、将来の研究方向を特定し、データ拡張研究の中で質問を開くことを期待する。
論文 参考訳（メタデータ） (2022-07-18T11:38:32Z) - Benchmarking the Accuracy and Robustness of Feedback Alignment
Algorithms [1.2183405753834562]
バックプロパゲーションは、その単純さ、効率性、高収束率のために、ディープニューラルネットワークをトレーニングするためのデフォルトのアルゴリズムである。
近年,より生物学的に妥当な学習法が提案されている。
BioTorchは、生物学的に動機付けられたニューラルネットワークを作成し、トレーニングし、ベンチマークするソフトウェアフレームワークである。
論文 参考訳（メタデータ） (2021-08-30T18:02:55Z) - Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory
to Learning Algorithms [91.3755431537592]
プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。
この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
論文 参考訳（メタデータ） (2021-01-26T17:11:40Z) - A Survey of Deep Meta-Learning [1.2891210250935143]
ディープニューラルネットワークは、巨大なデータセットと十分な計算リソースを提示することで、大きな成功を収めることができる。
しかし、新しい概念を素早く習得する能力は限られている。
ディープメタラーニング(Deep Meta-Learning)は、ネットワークが学習方法を学ぶことを可能にすることでこの問題に対処するアプローチのひとつだ。
論文 参考訳（メタデータ） (2020-10-07T17:09:02Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。