論文の概要: MetaOptimize: A Framework for Optimizing Step Sizes and Other Meta-parameters

• arxiv url: http://arxiv.org/abs/2402.02342v4
• Date: Mon, 27 May 2024 19:52:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 03:38:05.930793
• Title: MetaOptimize: A Framework for Optimizing Step Sizes and Other Meta-parameters
• Title（参考訳）: MetaOptimize: ステップサイズや他のメタパラメータを最適化するためのフレームワーク
• Authors: Arsalan Sharifnassab, Saber Salehkaleybar, Richard Sutton,
• Abstract要約: 本稿ではメタファクタを動的に調整するメタフレームワークについて紹介する。 より具体的には、Metaは任意の一階最適化アルゴリズムをラップし、特定の形態の後悔を最小限に抑えるために、ステップサイズの調整をオンザフライで行うことができる。 また、複数の最適化アルゴリズムへの適応性とともに、手作り学習率の最高のスケジュールに匹敵する性能を示すメタの低複雑性な変種も導入する。
• 参考スコア（独自算出の注目度）: 8.110978727364397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses the challenge of optimizing meta-parameters (i.e., hyperparameters) in machine learning algorithms, a critical factor influencing training efficiency and model performance. Moving away from the computationally expensive traditional meta-parameter search methods, we introduce MetaOptimize framework that dynamically adjusts meta-parameters, particularly step sizes (also known as learning rates), during training. More specifically, MetaOptimize can wrap around any first-order optimization algorithm, tuning step sizes on the fly to minimize a specific form of regret that accounts for long-term effect of step sizes on training, through a discounted sum of future losses. We also introduce low complexity variants of MetaOptimize that, in conjunction with its adaptability to multiple optimization algorithms, demonstrate performance competitive to those of best hand-crafted learning rate schedules across various machine learning applications.
• Abstract（参考訳）: 本稿では,機械学習アルゴリズムにおけるメタパラメータ(ハイパーパラメータ)の最適化という課題に対処する。 計算コストのかかる従来のメタパラメータ探索手法から離れ、トレーニング中にメタパラメータ、特にステップサイズ(学習率)を動的に調整するメタ最適化フレームワークを導入する。 より具体的に言えば、MetaOptimizeは任意の一階最適化アルゴリズムをラップし、ステップサイズを調整して、将来の損失の割引によって、トレーニングにおけるステップサイズが長期的な影響を考慮に入れている後悔の特定の形態を最小化することができる。 また,MetaOptimizeの低複雑性な変種を導入し,複数の最適化アルゴリズムへの適応性とともに,さまざまな機械学習アプリケーションにまたがる手作り学習率の最高のスケジュールに匹敵する性能を示す。

関連論文リスト

• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization [59.386153202037086]
  Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。 本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:32:06Z)
• Meta-Learning Parameterized First-Order Optimizers using Differentiable Convex Optimization [13.043909705693249]
  本稿では、内部ループ最適化ステップにおいて、微分凸最適化(DCO)を解くメタラーニングフレームワークを提案する。 線形最小二乗問題の族を一段階最適化できることを示すことによって、このアプローチの理論的魅力を説明する。
  論文  参考訳（メタデータ） (2023-03-29T18:17:41Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)
• Meta Learning Black-Box Population-Based Optimizers [0.0]
  人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。 メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T08:13:25Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Guarantees for Tuning the Step Size using a Learning-to-Learn Approach [18.838453594698166]
  ステップサイズを2次的損失に調整する簡単な問題に対して、学習から学習までのアプローチに対してメタ最適化を保証する。 メタ・グラディエント・オブジェクトを設計してメタ・グラディエントを束縛したままにしておく方法はあるが、バックプロパゲーションを用いて直接メタ・グラディエントを計算すれば、数値的な問題が発生する。 また,メタオブジェクトを別個の検証セットで計算し,学習性能を確保する必要がある場合の特徴付けを行う。
  論文  参考訳（メタデータ） (2020-06-30T02:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。