論文の概要: Many Optimizers But Only One Training Path: Repeated Resampling for Adaptive Optimizer Selection

• arxiv url: http://arxiv.org/abs/2608.18810v1
• Date: Wed, 19 Aug 2026 11:08:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.381509
• Title: Many Optimizers But Only One Training Path: Repeated Resampling for Adaptive Optimizer Selection
• Title（参考訳）: 多くのオプティマイザ - トレーニングパスは1つだけ - 適応オプティマイザ選択のための繰り返し再サンプリング
• Abstract要約: 繰り返しリサンプリング(ROR)は、ある進化中の実行中に検索する。 1エポックRORは24～35%のアグリゲーショントレーニングを使用して、最高の固定変種を徹底的に識別する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An optimizer is usually chosen before training a deep neural network and then kept fixed. Treating optimizer choice as a hyperparameter could boost performance, but it requires several complete training runs and discards all but the winner. Repeated Optimizer Resampling (ROR) instead searches during one evolving run. Every $b$ epochs, each candidate optimizer scouts from the current model weights for $s$ epochs. The best scout continues for the remaining $b-s$ epochs, and that completed segment becomes the new incumbent if it improves the validation objective. This design allows the preferred optimizer to change as training progresses. We compare two variants of ROR on MNIST, Fashion-MNIST, and two motor insurance claim-count models. Nine fixed optimizers and both ROR variants are evaluated with the same ten seeds. One-epoch ROR uses 24\% to 35\% of the aggregate training needed to identify the best fixed optimizer exhaustively and remains close to that optimizer on all four tasks. These results support short scouting as a practical way to search over optimizers without completing every candidate run.
• Abstract（参考訳）: 通常、オプティマイザはディープニューラルネットワークをトレーニングする前に選択され、その後修正される。 ハイパーパラメータとしてオプティマイザの選択を扱うことでパフォーマンスが向上するが、いくつかの完全なトレーニングを実行し、勝者以外は捨てる必要がある。 繰り返しオプティマイザリサンプリング(ROR)は、ある進化中の実行中に検索する。 b$エポック毎に、各候補のオプティマイザが現在のモデルの重みから$s$エポックでスカウトする。 最高のスカウトは、残りの$b-s$ epochsを継続する。 この設計により、トレーニングが進むにつれて、好みのオプティマイザを変更することができる。 我々は,MNIST,Fashion-MNISTの2種類のRORと,保険請求数モデルを比較した。 9つの固定オプティマイザと2つのROR変異体を同じ10個の種子で評価した。 1-epoch RORは、最高の固定オプティマイザを徹底的に識別するのに必要なアグリゲートトレーニングの24-5%から35-%を使用し、4つのタスクすべてにおいてそのオプティマイザに近づいたままである。 これらの結果は、全ての候補実行を完了させることなく、オプティマイザを探索する実用的な方法としてショートスカウトをサポートする。

関連論文リスト

• Reinforcement learning to choose optimizers [0.0]
  『強化学習選択』では、逐次的な意思決定問題としてアルゴリズムの選択が採用されている。 ポートフォリオにはグラデーションベースとデリバティブフリーが含まれており、各スイッチは現在のベストソリューションと代表的なステップサイズをパスする。 目に見えない問題では、学習されたポリシーは最小の予算を除いてすべてのポートフォリオを上回ります。
  論文  参考訳（メタデータ） (2026-09-01T19:35:31Z)
• Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
  エージェント最適化法で報告されているほとんどの利得はワンショットである。 これは、デプロイされたエージェントにとって重要な設定をテストするものではない。 エージェントハーネス最適化に対する3つのアプローチを比較する。
  論文  参考訳（メタデータ） (2026-07-15T16:36:04Z)
• Cautious Optimizers: Improving Training with One Line of Code [8.393403749426097]
  我々はAdamWを慎重な、例えばC-AdamWとC-Lionに改名した。 我々の理論的結果は、この修正がアダムのハミルトニアン函数を保ち、リアプノフ解析の下で収束保証を破らないことを示している。 中でも最も単純な実験は、LlamaとMAEで最大1.47ドル(約1万7000円)の事前トレーニングを行うだけでなく、ポストトレーニングタスクの結果としても優れていることを示す実験である。
  論文  参考訳（メタデータ） (2024-11-25T04:36:01Z)
• Iterative Reasoning Preference Optimization [84.15992372132507]
  生成したChain-of-Thought(CoT)候補間の嗜好を最適化するための反復的アプローチを開発する。 このスキームの繰り返し繰り返しにおける推論の改善を示す。 例えば、GSM8Kは55.6%から81.6%に大きく改善され、精度は88.7%となり、32のサンプルのうち多数が投票した。
  論文  参考訳（メタデータ） (2024-04-30T17:28:05Z)
• Should I try multiple optimizers when fine-tuning pre-trained Transformers for NLP tasks? Should I tune their hyperparameters? [14.349943044268471]
  SGD(Gradient Descent)は、トレーニングのためのニューラルネットワークの選択に使用される。 学習率だけをチューニングすることは、ほとんどの場合、すべてのハイパーパラメータをチューニングするのと同じくらい良いことです。 最適なアダプティブバウンド(例えばAdam)を選択して、その学習率を推奨します。
  論文  参考訳（メタデータ） (2024-02-10T13:26:14Z)
• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• CoRe Optimizer: An All-in-One Solution for Machine Learning [0.0]
  連続レジリエント収束(CoRe)は、他の最先端の1次勾配に基づく収束アルゴリズムと比較して優れた性能を示した。 CoReは、調査されたすべてのアプリケーションにおいて、最高の、または競争的なパフォーマンスを得る。
  論文  参考訳（メタデータ） (2023-07-28T16:48:42Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• VSAC: Efficient and Accurate Estimator for H and F [68.65610177368617]
  VSACはRANSAC型頑健な推定器であり、多くの新奇性がある。 従来のすべてのプロセッサよりも大幅に高速で、CPU上では平均1-2msで動作する。 現在最も正確な2次元幾何学推定器である MAGSAC++ と同等の精度で2桁高速である。
  論文  参考訳（メタデータ） (2021-06-18T17:04:57Z)
• Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
  ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。 人口ベーストレーニングの形式は、この自己学習の組織化に使用される。 このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
  論文  参考訳（メタデータ） (2021-01-14T19:07:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。