論文の概要: Accelerating Neural Network Training: An Analysis of the AlgoPerf Competition

• arxiv url: http://arxiv.org/abs/2502.15015v1
• Date: Thu, 20 Feb 2025 20:11:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:02.386385
• Title: Accelerating Neural Network Training: An Analysis of the AlgoPerf Competition
• Title（参考訳）: ニューラルネットワークトレーニングの高速化:AlgoPerfコンペティションの分析
• Authors: Priya Kasimbeg, Frank Schneider, Runa Eschenhagen, Juhan Bae, Chandramouli Shama Sastry, Mark Saroufim, Boyuan Feng, Less Wright, Edward Z. Yang, Zachary Nado, Sourabh Medapati, Philipp Hennig, Michael Rabbat, George E. Dahl,
• Abstract要約: AlgoPerf: Training Algorithmsコンペティションの目標は、基礎となるトレーニングアルゴリズムの改善のみで達成されたニューラルネットワークトレーニングの実践的なスピードアップを評価することだ。 本稿では,AlgoPerfコンペティションの初回結果について述べる。
• 参考スコア（独自算出の注目度）: 28.91552159033453
• License:
• Abstract: The goal of the AlgoPerf: Training Algorithms competition is to evaluate practical speed-ups in neural network training achieved solely by improving the underlying training algorithms. In the external tuning ruleset, submissions must provide workload-agnostic hyperparameter search spaces, while in the self-tuning ruleset they must be completely hyperparameter-free. In both rulesets, submissions are compared on time-to-result across multiple deep learning workloads, training on fixed hardware. This paper presents the inaugural AlgoPerf competition's results, which drew 18 diverse submissions from 10 teams. Our investigation reveals several key findings: (1) The winning submission in the external tuning ruleset, using Distributed Shampoo, demonstrates the effectiveness of non-diagonal preconditioning over popular methods like Adam, even when compared on wall-clock runtime. (2) The winning submission in the self-tuning ruleset, based on the Schedule Free AdamW algorithm, demonstrates a new level of effectiveness for completely hyperparameter-free training algorithms. (3) The top-scoring submissions were surprisingly robust to workload changes. We also discuss the engineering challenges encountered in ensuring a fair comparison between different training algorithms. These results highlight both the significant progress so far, and the considerable room for further improvements.
• Abstract（参考訳）: AlgoPerf: Training Algorithmsコンペティションの目標は、基礎となるトレーニングアルゴリズムの改善のみで達成されたニューラルネットワークトレーニングの実践的なスピードアップを評価することだ。 外部チューニングルールセットでは、サブミッションはワークロードに依存しないハイパーパラメータ検索スペースを提供しなければならないが、セルフチューニングルールセットでは、完全にハイパーパラメータフリーでなければならない。 両方のルールセットでは、複数のディープラーニングワークロードをまたいだタイム・トゥ・レサート(Time-to-result)で、固定ハードウェアでトレーニングされる。 本稿では,AlgoPerfコンペティションの初回結果について述べる。 1)分散シャンプーを用いた外部チューニングルールセットの入賞は,壁面実行時と比較しても,Adamのような一般的な手法に対する非対角的プレコンディショニングの有効性を示す。 2) スケジュールフリーAdamWアルゴリズムに基づく自己学習ルールセットの入賞は, 完全にハイパーパラメータフリーなトレーニングアルゴリズムに対して, 新たな効果のレベルを示す。 (3) 作業負荷の変化に対して,トップスコアの提出が驚くほど堅牢であった。 また、異なるトレーニングアルゴリズム間の公正な比較を保証する上で直面するエンジニアリング上の課題についても論じる。 これらの結果は、これまでの大きな進歩と、さらなる改善の余地の両方を強調している。

関連論文リスト

• Simple and Provable Scaling Laws for the Test-Time Compute of Large Language Models [70.07661254213181]
  大規模言語モデルのテスト時間計算のための2つの原理的アルゴリズムを提案する。 理論的には、1つのアルゴリズムの故障確率は、そのテスト時間計算が大きくなるにつれて指数関数的に減衰する。
  論文  参考訳（メタデータ） (2024-11-29T05:29:47Z)
• Energy-based learning algorithms for analog computing: a comparative study [2.0937431058291933]
  エネルギーベースの学習アルゴリズムは、最近アナログハードウェアとの互換性のため、関心が高まっている。 我々は、コントラスト学習(CL)、平衡伝播(EP)、結合学習(CpL)の7つの学習アルゴリズムを比較した。 負の摂動は正の摂動よりも優れており,その中心となるEPの変形を最良性能のアルゴリズムとして強調する。
  論文  参考訳（メタデータ） (2023-12-22T22:49:58Z)
• Benchmarking Neural Network Training Algorithms [46.39165332979669]
  トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。 コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。 固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-06-12T15:21:02Z)
• GTFLAT: Game Theory Based Add-On For Empowering Federated Learning Aggregation Techniques [0.3867363075280543]
  GTFLATはゲーム理論に基づくアドオンであり、重要な研究課題に対処する。 モデル集約フェーズにおける平均化に対してより効果的な適応重みを設定することにより、フェデレーション学習アルゴリズムは、より優れたパフォーマンスと訓練効率を実現することができるのか? その結果、GTFLATを平均するとトップ1テストの精度は1.38%向上し、通信ラウンドは21.06%削減された。
  論文  参考訳（メタデータ） (2022-12-08T06:39:51Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Adversarial Deep Learning for Online Resource Allocation [12.118811903399951]
  私たちはディープニューラルネットワークを使って、リソース割り当てと価格の問題に対するオンラインアルゴリズムをゼロから学習しています。 私たちの研究は、最悪のパフォーマンス保証の観点から、ディープニューラルネットワークを使用してオンラインアルゴリズムを設計した初めてのものです。
  論文  参考訳（メタデータ） (2021-11-19T15:48:43Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Event-Based Control for Online Training of Neural Networks [4.640828141705773]
  本稿では,古典アルゴリズムE(Exponential)/PD(Proportional Derivative)-Controlの学習率を調整するために,イベントベースの2つの制御ループを提案する。 最初のイベントベースの制御ループは、モデルが最適に近づいているときの学習率の急落を防ぐために実装される。 第2のEvent-Basedコントロールループは、学習速度に基づいて、次のデータバッチに切り替えるタイミングを決定する。
  論文  参考訳（メタデータ） (2020-03-20T21:29:03Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。