論文の概要: Automatic model training under restrictive time constraints

• arxiv url: http://arxiv.org/abs/2104.10746v1
• Date: Wed, 21 Apr 2021 20:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-23 14:05:42.791172
• Title: Automatic model training under restrictive time constraints
• Title（参考訳）: 制約時間制約下での自動モデルトレーニング
• Authors: Lukas Cironis, Jan Palczewski, Georgios Aivaliotis
• Abstract要約: モデルの品質とチューニングに必要な計算コストのバランスをとる最適化アルゴリズムを開発しています。 本アルゴリズムの性能は,多くの機械学習問題に対して検証される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a hyperparameter optimisation algorithm, Automated Budget Constrained Training (AutoBCT), which balances the quality of a model with the computational cost required to tune it. The relationship between hyperparameters, model quality and computational cost must be learnt and this learning is incorporated directly into the optimisation problem. At each training epoch, the algorithm decides whether to terminate or continue training, and, in the latter case, what values of hyperparameters to use. This decision weighs optimally potential improvements in the quality with the additional training time and the uncertainty about the learnt quantities. The performance of our algorithm is verified on a number of machine learning problems encompassing random forests and neural networks. Our approach is rooted in the theory of Markov decision processes with partial information and we develop a numerical method to compute the value function and an optimal strategy.
• Abstract（参考訳）: 超パラメータ最適化アルゴリズム、自動予算制約トレーニング(autobct)を開発し、モデルの質とそれを調整するのに必要な計算コストのバランスをとる。 ハイパーパラメータとモデル品質と計算コストの関係を学習し、この学習を最適化問題に直接組み込む必要がある。 各トレーニング期間において、アルゴリズムはトレーニングを終了するか継続するかを決定し、後者の場合、どのハイパーパラメータを使用するかを決定する。 この決定は、追加のトレーニング時間と学習量に関する不確実性によって、品質の潜在的な改善を最適に重んじる。 ランダムな森林やニューラルネットワークを含む多くの機械学習問題に対して,本アルゴリズムの性能を検証した。 本手法は,部分的情報を含むマルコフ決定過程の理論に根ざし,値関数と最適戦略を計算する数値解法を開発した。

関連論文リスト

• On characterizing optimal learning trajectories in a class of learning problems [0.0]
  本稿では,学習問題のクラスにおける最適学習軌跡を特徴付けるために,最大原理と動的プログラミングの関係を利用する。 このような学習問題のクラスに対して最適な推定モデルパラメータに導かれる最適な学習軌跡を構築するためのアルゴリズム的レシピを提供する。
  論文  参考訳（メタデータ） (2025-01-27T21:43:35Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Mechanic: A Learning Rate Tuner [52.4242550204696]
  我々は,任意の基本最適化アルゴリズムの学習率尺度係数を調整し,自動的にスケジュールする手法を導入し,それをテクスチャメカニックと呼ぶ。 各種バッチサイズ,スケジュール,基本最適化アルゴリズムを用いて,大規模深層学習タスクにおけるテクスチャメカニックを厳格に評価する。
  論文  参考訳（メタデータ） (2023-05-31T19:32:43Z)
• Online Learning and Optimization for Queues with Unknown Demand Curve and Service Distribution [26.720986177499338]
  サービス提供者が最適なサービス料金 p とサービス容量 mu を選択する待ち行列システムにおける最適化問題について検討する。 本研究では,パラメータ推定誤差を自動的に解法に組み込むオンライン学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-03-06T08:47:40Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Annealing Optimization for Progressive Learning with Stochastic Approximation [0.0]
  計算資源が限られているアプリケーションのニーズを満たすために設計された学習モデルを導入する。 我々は,オンラインな勾配近似アルゴリズムとして定式化されたオンラインプロトタイプベースの学習アルゴリズムを開発した。 学習モデルは、教師なし、教師なし、強化学習に使用される、解釈可能で、徐々に成長する競争的ニューラルネットワークモデルと見なすことができる。
  論文  参考訳（メタデータ） (2022-09-06T21:31:01Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping [4.5497948012757865]
  本稿では,新しいモデルに基づく強化学習アルゴリズム,Cooperative Prioritized Sweepingを提案する。 このアルゴリズムは、値関数を近似するために因子化を利用することにより、大きな問題に対するサンプル効率の学習を可能にする。 我々の手法は、よく知られたSysAdminベンチマークとランダム化環境の両方において、最先端の協調的なQ-ラーニングアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2020-01-15T19:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。