論文の概要: Towards Easier-to-Tune Training Algorithms: New Results from AlgoPerf

• arxiv url: http://arxiv.org/abs/2610.13036v1
• Date: Fri, 09 Oct 2026 05:47:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.412291
• Title: Towards Easier-to-Tune Training Algorithms: New Results from AlgoPerf
• Title（参考訳）: 訓練の容易化に向けて:AlgoPerfの新しい成果
• Abstract要約: レポートは、ベンチマークの自己チューニングルールセットの結果に焦点を当てている。 固定ハードウェア上の9つのワークロードにまたがるウォールクロックにおける新しいトレーニングアルゴリズムの評価を行った。
• 参考スコア（独自算出の注目度）: 19.18316181277684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating deep learning optimizer is challenging because confounding factors such as hyperparameter tuning and optimizer-model co-design often obscure true algorithmic performance. We present results of the updated AlgoPerf V1 benchmark, in which we evaluate a new set of training algorithms on wall-clock time-to-target across nine workloads on fixed hardware. This report focuses on the results of the benchmark's self-tuning ruleset, which requires submissions to use a single configuration across all workloads. Out of the 13 submissions in PyTorch and JAX, Schedule-Free AdamW ranked first. In addition to the wall-clock scores, we also analyze the trade-offs between step efficiency and wall-clock execution, revealing that matrix-preconditioned and two-loop methods achieve good sample efficiency but require more aggressive computational optimizations to be competitive in runtime. Finally, our hyperparameter saliency and retention analyses show that the learning rate and momentum are highly sensitive across domains and algorithms, highlighting the need for methods that are more robust against hyperparameter tuning and can generalize well to new tasks.
• Abstract（参考訳）: ディープラーニングオプティマイザの評価は、ハイパーパラメータチューニングやオプティマイザ-モデル共設計といった相反する要素が、真のアルゴリズム性能を曖昧にすることがしばしばあるため、難しい。 我々はAlgoPerf V1ベンチマークを更新し、固定ハードウェア上の9つのワークロードにまたがるウォールクロックにおける新しいトレーニングアルゴリズムを評価した。 このレポートでは、ベンチマークの自己チューニングルールセットの結果に焦点を当てている。 PyTorchとJAXの13件のうち、Schedule-Free AdamWが1位だった。 ウォールクロックのスコアに加えて,ステップ効率とウォールクロック実行のトレードオフを解析し,行列プレコンディショニング法と2ループ法が優れたサンプリング効率を実現するが,実行時により積極的な計算最適化を必要とすることを明らかにした。 最後に、我々のハイパーパラメータ・サリエンシ・リテンション分析は、学習速度とモーメントがドメインやアルゴリズム間で非常に敏感であることを示し、ハイパーパラメータ・チューニングに対してより堅牢で、新しいタスクにうまく適応できる手法の必要性を強調した。

関連論文リスト

• Dynamic Learning Rate Scheduling based on Loss Changes Leads to Faster Convergence [2.1665689529884697]
  emphGreedyLRは、トレーニング中に現在の損失に基づいて学習率を適応的に調整する新しいスケジューラである。 提案手法は, 精度, 速度, 収束の点で, 最先端のスケジューラよりも優れている。
  論文  参考訳（メタデータ） (2025-12-16T16:03:52Z)
• Exploration of Design Alternatives for Reducing Idle Time in Shor's Algorithm: A Study on Monolithic and Distributed Quantum Systems [4.485653384761728]
  Shorのアルゴリズムでは、量子ビット効率を保ちながら、アイドル時間を最小限に抑えるための交互設計手法を導入する。 また,複数チャネルが存在する場合のタスク再構成によって実行効率が向上することを示す。 本研究は,Shorのアルゴリズムに対して,コンパイルされた量子回路を最適化するための構造化された枠組みを提供する。
  論文  参考訳（メタデータ） (2025-03-28T16:07:52Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Benchmarking Neural Network Training Algorithms [52.890134877995195]
  トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。 コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。 固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-06-12T15:21:02Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
  本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。 評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。 次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
  論文  参考訳（メタデータ） (2020-10-19T21:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。