論文の概要: MetaOptimize: A Framework for Optimizing Step Sizes and Other Meta-parameters
- arxiv url: http://arxiv.org/abs/2402.02342v6
- Date: Wed, 09 Jul 2025 01:03:54 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-07-10 17:10:00.931773
- Title: MetaOptimize: A Framework for Optimizing Step Sizes and Other Meta-parameters
- Title（参考訳）: MetaOptimize: ステップサイズや他のメタパラメータを最適化するためのフレームワーク
- Authors: Arsalan Sharifnassab, Saber Salehkaleybar, Richard Sutton,
- Abstract要約: Meta: メタファクタ,特にトレーニング中のステップサイズ(学習率)を調整する動的アプローチを紹介します。
より具体的には、Metaは任意の一階最適化アルゴリズムをラップし、特定の形態の後悔を最小限に抑えるために、ステップサイズの調整をオンザフライで行うことができる。
また、様々な最適化アルゴリズムへの適応性とともに、手作り学習率の最高のスケジュールに匹敵する性能を実現するメタの低複雑さ変種も導入する。
- 参考スコア（独自算出の注目度）: 8.110978727364397
- License:
- Abstract: We address the challenge of optimizing meta-parameters (hyperparameters) in machine learning, a key factor for efficient training and high model performance. Rather than relying on expensive meta-parameter search methods, we introduce MetaOptimize: a dynamic approach that adjusts meta-parameters, particularly step sizes (also known as learning rates), during training. More specifically, MetaOptimize can wrap around any first-order optimization algorithm, tuning step sizes on the fly to minimize a specific form of regret that considers the long-term impact of step sizes on training, through a discounted sum of future losses. We also introduce lower-complexity variants of MetaOptimize that, in conjunction with its adaptability to various optimization algorithms, achieve performance comparable to those of the best hand-crafted learning rate schedules across diverse machine learning tasks.
- Abstract（参考訳）: 本稿では,機械学習におけるメタパラメータ(ハイパーパラメータ)の最適化という課題に対処する。
メタパラメータ探索法は,高コストなメタパラメータ探索法に頼るのではなく,メタパラメータ,特にステップサイズ(学習率)をトレーニング中に調整する動的アプローチであるメタ最適化を導入する。
より具体的に言えば、MetaOptimizeは任意の一階最適化アルゴリズムをラップし、ステップサイズを調整して、将来の損失の削減を通じて、トレーニングにおけるステップサイズの長期的な影響を考慮した、特定の形式の後悔を最小限に抑えることができる。
また,多種多様な最適化アルゴリズムへの適応性とともに,多種多様な機械学習タスクにまたがる手作り学習率の最高のスケジュールに匹敵する性能を実現するメタ最適化の低複雑さ変種も導入する。
関連論文リスト
- Optimizing ML Training with Metagradient Descent [69.89631748402377]
モデルトレーニングによる勾配というメタグラディエントを,大規模に効率的に計算するアルゴリズムを導入する。
次に、メタグラディエントを用いた効果的な最適化を可能にする「滑らかなモデルトレーニング」フレームワークを導入する。
論文 参考訳（メタデータ） (2025-03-17T22:18:24Z) - Learning Joint Models of Prediction and Optimization [56.04498536842065]
Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-07T19:52:14Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳（メタデータ） (2024-02-27T15:05:32Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and
Optimization [59.386153202037086]
Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。
本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T01:32:06Z) - Meta-Learning Parameterized First-Order Optimizers using Differentiable
Convex Optimization [13.043909705693249]
本稿では、内部ループ最適化ステップにおいて、微分凸最適化(DCO)を解くメタラーニングフレームワークを提案する。
線形最小二乗問題の族を一段階最適化できることを示すことによって、このアプローチの理論的魅力を説明する。
論文 参考訳（メタデータ） (2023-03-29T18:17:41Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳（メタデータ） (2022-11-17T18:39:07Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-01-27T21:38:53Z) - Meta Learning Black-Box Population-Based Optimizers [0.0]
人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。
メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
論文 参考訳（メタデータ） (2021-03-05T08:13:25Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - Guarantees for Tuning the Step Size using a Learning-to-Learn Approach [18.838453594698166]
ステップサイズを2次的損失に調整する簡単な問題に対して、学習から学習までのアプローチに対してメタ最適化を保証する。
メタ・グラディエント・オブジェクトを設計してメタ・グラディエントを束縛したままにしておく方法はあるが、バックプロパゲーションを用いて直接メタ・グラディエントを計算すれば、数値的な問題が発生する。
また,メタオブジェクトを別個の検証セットで計算し,学習性能を確保する必要がある場合の特徴付けを行う。
論文 参考訳（メタデータ） (2020-06-30T02:59:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。