論文の概要: Compute-Efficient Deep Learning: Algorithmic Trends and Opportunities

• arxiv url: http://arxiv.org/abs/2210.06640v2
• Date: Tue, 21 Mar 2023 08:24:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-03-24 02:54:35.278869
• Title: Compute-Efficient Deep Learning: Algorithmic Trends and Opportunities
• Title（参考訳）: 計算効率の高いディープラーニング: アルゴリズムのトレンドと機会
• Authors: Brian R. Bartoldson, Bhavya Kailkhura, Davis Blalock
• Abstract要約: ニューラルネットワークのトレーニングの経済的および環境的コストは、持続不可能になりつつある。 *アルゴリズム的に効率のよいディープラーニングの研究*は、トレーニングプログラムの意味論の変化を通じて、トレーニングコストを削減しようとしている。 アルゴリズム的に効率的な学習の基本的な構成要素を用いて分類学を開発する。
• 参考スコア（独自算出の注目度）: 18.508401650991434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although deep learning has made great progress in recent years, the exploding economic and environmental costs of training neural networks are becoming unsustainable. To address this problem, there has been a great deal of research on *algorithmically-efficient deep learning*, which seeks to reduce training costs not at the hardware or implementation level, but through changes in the semantics of the training program. In this paper, we present a structured and comprehensive overview of the research in this field. First, we formalize the *algorithmic speedup* problem, then we use fundamental building blocks of algorithmically efficient training to develop a taxonomy. Our taxonomy highlights commonalities of seemingly disparate methods and reveals current research gaps. Next, we present evaluation best practices to enable comprehensive, fair, and reliable comparisons of speedup techniques. To further aid research and applications, we discuss common bottlenecks in the training pipeline (illustrated via experiments) and offer taxonomic mitigation strategies for them. Finally, we highlight some unsolved research challenges and present promising future directions.
• Abstract（参考訳）: 近年、ディープラーニングは大きな進歩を遂げているが、ニューラルネットワークのトレーニングにおける経済的・環境的コストの爆発は持続不可能になっている。 この問題に対処するために、ハードウェアや実装レベルでではなく、トレーニングプログラムのセマンティクスの変更を通じて、トレーニングコストを削減しようとしている*アルゴリズム的に効率的なディープラーニング*について、多くの研究がなされている。 本稿では,本研究の構造化と包括的概要について述べる。 まず、 *algorithmic speedup* 問題を形式化し、次にアルゴリズム的に効率的なトレーニングの基本的な構成要素を使用して分類法を開発する。 我々の分類は、一見異なる方法の共通性を強調し、現在の研究のギャップを明らかにする。 次に,スピードアップ手法の包括的かつ公正かつ信頼性の高い比較を可能にするために,評価ベストプラクティスを提案する。 研究と応用をさらに支援するため,訓練パイプライン(実験による図示)における共通のボトルネックを議論し,分類学的緩和戦略を提供する。 最後に、未解決の研究課題を強調し、将来有望な方向性を示す。

関連論文リスト

• Efficient Deep Learning for Biometrics: Overview, Challenges and Trends in Ear of Frugal AI [0.9569208373364794]
  バイオメトリック応用のための効率的な深層学習手法を短時間で検討する。 私たちは、ディープラーニングのアプローチをトレーニングし、デプロイする際に生じる可能性のある課題に取り組みます。 これらのモデルの効率を評価するための相補的指標について論じる。
  論文  参考訳（メタデータ） (2026-02-09T15:48:34Z)
• Faster Predictive Coding Networks via Better Initialization [52.419343840654186]
  本稿では,従来のトレーニングサンプルの反復的進捗を抑えることを目的とした,予測符号化ネットワークのための新しい手法を提案する。 本実験は,教師なし設定と教師なし設定の両方において,収束速度と最終テスト損失が大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2026-01-28T08:52:19Z)
• Training Neural Networks at Any Scale [57.048948400182354]
  本稿では、効率とスケールを重視したニューラルネットワークのトレーニングのための最新の最適化手法についてレビューする。 本稿では,問題の構造に適応することの重要性を強調する統一的アルゴリズムテンプレートの下で,最先端の最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-11-14T10:58:07Z)
• DeepSearch: Overcome the Bottleneck of Reinforcement Learning with Verifiable Rewards via Monte Carlo Tree Search [53.27052683356095]
  我々はモンテカルロ木探索を直接RLVRトレーニングに統合するフレームワークであるDeepSearchを紹介する。 推論時にのみツリー検索に依存する既存のメソッドとは対照的に、DeepSearchは構造化された検索をトレーニングループに埋め込む。 コントリビューションには,(1)検索ツリー全体にわたって有望なノードを優先するグローバルフロンティア選択戦略,(2)監督のための確実なパスを識別するエントロピーベースのガイダンスによる選択,(3)効率的なソリューションキャッシングによる適応的リプレイバッファトレーニングなどが含まれている。
  論文  参考訳（メタデータ） (2025-09-29T20:00:29Z)
• Search-Based Adversarial Estimates for Improving Sample Efficiency in Off-Policy Reinforcement Learning [0.0]
  本稿では,この問題を緩和するための新しい,シンプルかつ効率的なアプローチとして,Adversarial Estimatesを提案する。 我々のアプローチは、学習を促進するために、小さな人間の軌道の集合からの潜在類似性探索を活用する。 本研究の結果から,適応推定を用いた学習アルゴリズムは,元のバージョンよりも高速に収束することがわかった。
  論文  参考訳（メタデータ） (2025-02-03T17:41:02Z)
• Amortized nonmyopic active search via deep imitation learning [16.037812098340343]
  アクティブ検索は、希少で価値のあるクラスのメンバを集めることを目標とする、特別なアクティブな学習環境を形式化する。 本稿では,ニューラルネットワークをトレーニングして検索学習を行うことにより,このポリシーの償却について検討する。 我々のネットワークは、合成データに基づいて訓練され、非神秘的な決定をもたらす有益な探索戦略を学習する。
  論文  参考訳（メタデータ） (2024-05-23T20:10:29Z)
• Neural Active Learning Beyond Bandits [69.99592173038903]
  ストリームベースとプールベースの両方のアクティブラーニングをニューラルネットワーク近似を用いて検討する。 ストリームベースおよびプールベースアクティブラーニングのためのニューラルネットワークを新たに設計したエクスプロイトと探索に基づく2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-18T21:52:14Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Benchmarking Neural Network Training Algorithms [52.890134877995195]
  トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。 コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。 固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-06-12T15:21:02Z)
• Actively Learning Costly Reward Functions for Reinforcement Learning [56.34005280792013]
  複雑な実世界の環境でエージェントを訓練することは、桁違いに高速であることを示す。 強化学習の手法を新しい領域に適用することにより、興味深く非自明な解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-11-23T19:17:20Z)
• Pretraining in Deep Reinforcement Learning: A Survey [17.38360092869849]
  事前訓練は伝達可能な知識の獲得に有効であることが示されている。 強化学習の性質から, この分野でのプレトレーニングには, 独特な課題が伴う。
  論文  参考訳（メタデータ） (2022-11-08T02:17:54Z)
• Research Trends and Applications of Data Augmentation Algorithms [77.34726150561087]
  我々は,データ拡張アルゴリズムの適用分野,使用するアルゴリズムの種類,重要な研究動向,時間経過に伴う研究の進展,およびデータ拡張文学における研究ギャップを同定する。 我々は、読者がデータ拡張の可能性を理解し、将来の研究方向を特定し、データ拡張研究の中で質問を開くことを期待する。
  論文  参考訳（メタデータ） (2022-07-18T11:38:32Z)
• Benchmarking the Accuracy and Robustness of Feedback Alignment Algorithms [1.2183405753834562]
  バックプロパゲーションは、その単純さ、効率性、高収束率のために、ディープニューラルネットワークをトレーニングするためのデフォルトのアルゴリズムである。 近年,より生物学的に妥当な学習法が提案されている。 BioTorchは、生物学的に動機付けられたニューラルネットワークを作成し、トレーニングし、ベンチマークするソフトウェアフレームワークである。
  論文  参考訳（メタデータ） (2021-08-30T18:02:55Z)
• Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms [91.3755431537592]
  プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。 この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
  論文  参考訳（メタデータ） (2021-01-26T17:11:40Z)
• A Survey of Deep Meta-Learning [1.2891210250935143]
  ディープニューラルネットワークは、巨大なデータセットと十分な計算リソースを提示することで、大きな成功を収めることができる。 しかし、新しい概念を素早く習得する能力は限られている。 ディープメタラーニング(Deep Meta-Learning)は、ネットワークが学習方法を学ぶことを可能にすることでこの問題に対処するアプローチのひとつだ。
  論文  参考訳（メタデータ） (2020-10-07T17:09:02Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。