論文の概要: TrimTuner: Efficient Optimization of Machine Learning Jobs in the Cloud via Sub-Sampling

• arxiv url: http://arxiv.org/abs/2011.04726v1
• Date: Mon, 9 Nov 2020 20:06:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 02:19:50.942910
• Title: TrimTuner: Efficient Optimization of Machine Learning Jobs in the Cloud via Sub-Sampling
• Title（参考訳）: TrimTuner: サブサンプリングによるクラウド上の機械学習ジョブの効率的な最適化
• Authors: Pedro Mendes, Maria Casimiro, Paolo Romano, David Garlan
• Abstract要約: この研究は、クラウド上の機械学習ジョブを最適化してサブサンプリング技術を利用する最初のシステムであるTrimTunerを紹介している。 我々は,TrimTunerが最適化プロセスのコストを最大50倍に削減し,推奨プロセスの速度を65倍に向上できることを示す。
• 参考スコア（独自算出の注目度）: 7.944935795841249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces TrimTuner, the first system for optimizing machine learning jobs in the cloud to exploit sub-sampling techniques to reduce the cost of the optimization process while keeping into account user-specified constraints. TrimTuner jointly optimizes the cloud and application-specific parameters and, unlike state of the art works for cloud optimization, eschews the need to train the model with the full training set every time a new configuration is sampled. Indeed, by leveraging sub-sampling techniques and data-sets that are up to 60x smaller than the original one, we show that TrimTuner can reduce the cost of the optimization process by up to 50x. Further, TrimTuner speeds-up the recommendation process by 65x with respect to state of the art techniques for hyper-parameter optimization that use sub-sampling techniques. The reasons for this improvement are twofold: i) a novel domain specific heuristic that reduces the number of configurations for which the acquisition function has to be evaluated; ii) the adoption of an ensemble of decision trees that enables boosting the speed of the recommendation process by one additional order of magnitude.
• Abstract（参考訳）: この研究は、クラウド上で機械学習ジョブを最適化する最初のシステムであるTrimTunerを導入し、サブサンプリング技術を利用して、ユーザの指定した制約を考慮しつつ、最適化プロセスのコストを削減する。 trimtunerはクラウドとアプリケーション固有のパラメータを共同で最適化し、state of the art works for cloud optimizationとは異なり、新しい構成がサンプル化されるたびに、フルトレーニングセットでモデルをトレーニングする必要がなくなる。 実際,従来のものよりも60倍小さいサブサンプリング技術とデータセットを活用することで,最適化プロセスのコストを最大50倍に削減できることを示す。 さらに,サブサンプリング技術を用いたハイパーパラメータ最適化技術の現状に関して,TrimTunerは推奨プロセスを65倍高速化する。 この改善の理由は2つあります 一 取得機能を評価する必要のある構成の数を減少させる新規なドメイン固有ヒューリスティック 二 推薦プロセスの速度を一等級に向上させることができる決定ツリーの集合体の採用

関連論文リスト

• UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs [111.12010207132204]
  UIO-LLMsは、長いコンテキスト設定下でのメモリ拡張トランスフォーマーの漸進的な最適化手法である。 本稿では,TBPTTアルゴリズムを用いて学習過程を改良する。 UIO-LLMは、Llama2-7b-chatのコンテキストウィンドウを4Kから100Kトークンに、2%の追加パラメータで拡張するなど、長いコンテキストを扱うことに成功した。
  論文  参考訳（メタデータ） (2024-06-26T08:44:36Z)
• Derivative-Free Optimization for Low-Rank Adaptation in Large Language Models [4.926283917321645]
  グラデーションの計算を最適化する微分自由最適化手法を提案する。 提案手法は, メモリ使用率と収束速度において, 従来の勾配に基づくパラメータ効率調整法や, 微分自由度最適化法に比べ, 大幅に向上し, 明らかな優位性を示す。
  論文  参考訳（メタデータ） (2024-03-04T06:20:31Z)
• CoRe Optimizer: An All-in-One Solution for Machine Learning [0.0]
  連続レジリエント収束(CoRe)は、他の最先端の1次勾配に基づく収束アルゴリズムと比較して優れた性能を示した。 CoReは、調査されたすべてのアプリケーションにおいて、最高の、または競争的なパフォーマンスを得る。
  論文  参考訳（メタデータ） (2023-07-28T16:48:42Z)
• Transfer Learning for Bayesian Optimization: A Survey [29.229660973338145]
  ブラックボックス最適化は、このような高価なブラックボックス機能をモデル化し、最適化する強力なツールである。 BOコミュニティの研究者たちは、最適化プロセスの高速化にトランスファーラーニングの精神を取り入れることを提案する。
  論文  参考訳（メタデータ） (2023-02-12T14:37:25Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Learning to Optimize Quasi-Newton Methods [22.504971951262004]
  本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。 他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。 この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-11T03:47:14Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。