論文の概要: Tune My Adam, Please!

• arxiv url: http://arxiv.org/abs/2508.19733v1
• Date: Wed, 27 Aug 2025 09:57:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.582927
• Title: Tune My Adam, Please!
• Title（参考訳）: アダム・トゥン・マイ・アダム(Tune My Adam, please!
• Authors: Theodoros Athanasiadis, Steven Adriaensen, Samuel Müller, Frank Hutter,
• Abstract要約: 本稿では,AdamのハイパーパラメータのフリーズソーBOのための新しいサロゲートモデルであるAdam-PFNを提案する。 提案手法は,タスクセット評価タスクにおける学習曲線の増大とハイパーパラメータの最適化を両立させる。
• 参考スコア（独自算出の注目度）: 42.01711296068661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Adam optimizer remains one of the most widely used optimizers in deep learning, and effectively tuning its hyperparameters is key to optimizing performance. However, tuning can be tedious and costly. Freeze-thaw Bayesian Optimization (BO) is a recent promising approach for low-budget hyperparameter tuning, but is limited by generic surrogates without prior knowledge of how hyperparameters affect learning. We propose Adam-PFN, a new surrogate model for Freeze-thaw BO of Adam's hyperparameters, pre-trained on learning curves from TaskSet, together with a new learning curve augmentation method, CDF-augment, which artificially increases the number of available training examples. Our approach improves both learning curve extrapolation and accelerates hyperparameter optimization on TaskSet evaluation tasks, with strong performance on out-of-distribution (OOD) tasks.
• Abstract（参考訳）: Adamオプティマイザは、ディープラーニングにおいて最も広く使用されているオプティマイザの1つであり、そのハイパーパラメータを効果的にチューニングすることがパフォーマンスの最適化の鍵である。 しかし、チューニングは面倒でコストもかかる。 フリーズソーベイズ最適化(BO)は近年、低予算のハイパーパラメータチューニングにおいて有望なアプローチであるが、ハイパーパラメータが学習にどのように影響するかを事前に知ることなく、一般的なサロゲートによって制限されている。 本稿では,Adam's Hyperparameters の Freeze-thaw BO の新たなサロゲートモデルであるAdam-PFN を提案する。 提案手法は学習曲線の補間とタスクセット評価タスクのハイパーパラメータ最適化を両立させ,アウト・オブ・ディストリビューション(OOD)タスクの性能を向上する。

関連論文リスト

• How far away are truly hyperparameter-free learning algorithms? [21.3925393750153]
  我々は,ハイパーパラメータフリー手法の構成要素として,学習速度フリー手法の可能性を評価する。 文献提供のデフォルト設定がベンチマークでは不十分であることが分かりました。 最高のAlgoPerf校正学習レートフリーメソッドは、パフォーマンスが大幅に向上したが、ベンチマークスコア全体でも同様の校正ベースラインにわずかに遅れを取っていた。
  論文  参考訳（メタデータ） (2025-05-29T20:57:31Z)
• Interim Report on Human-Guided Adaptive Hyperparameter Optimization with Multi-Fidelity Sprints [0.0]
  このケーススタディでは、マルチタスク自然言語モデルの変種を比較するために、フェーズドハイパーパラメータ最適化プロセスを適用する。 我々は,多相性,ハイパーパラメータ空間プルーニング,プログレッシブ・ハーヴィング,そして人間の指導の度合いを生かした,短いベイズ最適化セッションを採用している。 本稿では,Eberts と Ulges が提案した 2021 Joint Entity and Relation extract model の変種集合について実演する。
  論文  参考訳（メタデータ） (2025-05-14T20:38:44Z)
• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Simple and Effective Gradient-Based Tuning of Sequence-to-Sequence Models [8.370770440898454]
  より大きな言語モデルをトレーニングする膨大なコストは、チューニングを違法に高価にする可能性がある。 本稿では,勾配に基づくハイパーパラメータ最適化をシーケンシャル・ツー・シーケンス・タスクに初めて適用する。 ニューラルネットワーク翻訳と自然言語理解(NLU)の両タスクにおいて,強いベースラインに対する効率性と性能の向上を示す。
  論文  参考訳（メタデータ） (2022-09-10T14:52:41Z)
• The Role of Adaptive Optimizers for Honest Private Hyperparameter Selection [12.38071940409141]
  標準合成ツールは、多くの設定において、より高度な技術よりも優れていることを示す。 我々は、新しいより効率的なツールを設計するために、DP設定におけるAdamの制限的な振る舞いを描きます。
  論文  参考訳（メタデータ） (2021-11-09T01:56:56Z)
• Pre-trained Gaussian Processes for Bayesian Optimization [24.730678780782647]
  本稿では,HyperBO という事前学習型 BO フレームワークを提案する。 GPが既知の「地中真実」を仮定することなく, 後続の予測と, ほぼゼロの後悔をHyperBOに示す。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
  本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。 評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。 次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
  論文  参考訳（メタデータ） (2020-10-19T21:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。