論文の概要: Bayesian Optimization for Selecting Efficient Machine Learning Models

• arxiv url: http://arxiv.org/abs/2008.00386v1
• Date: Sun, 2 Aug 2020 02:56:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 19:22:37.313413
• Title: Bayesian Optimization for Selecting Efficient Machine Learning Models
• Title（参考訳）: 効率的な機械学習モデル選択のためのベイズ最適化
• Authors: Lidan Wang, Franck Dernoncourt, Trung Bui
• Abstract要約: 本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
• 参考スコア（独自算出の注目度）: 53.202224677485525
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The performance of many machine learning models depends on their hyper-parameter settings. Bayesian Optimization has become a successful tool for hyper-parameter optimization of machine learning algorithms, which aims to identify optimal hyper-parameters during an iterative sequential process. However, most of the Bayesian Optimization algorithms are designed to select models for effectiveness only and ignore the important issue of model training efficiency. Given that both model effectiveness and training time are important for real-world applications, models selected for effectiveness may not meet the strict training time requirements necessary to deploy in a production environment. In this work, we present a unified Bayesian Optimization framework for jointly optimizing models for both prediction effectiveness and training efficiency. We propose an objective that captures the tradeoff between these two metrics and demonstrate how we can jointly optimize them in a principled Bayesian Optimization framework. Experiments on model selection for recommendation tasks indicate models selected this way significantly improves model training efficiency while maintaining strong effectiveness as compared to state-of-the-art Bayesian Optimization algorithms.
• Abstract（参考訳）: 多くの機械学習モデルのパフォーマンスは、ハイパーパラメータ設定に依存する。 Bayesian Optimizationは、反復的シーケンシャルプロセス中に最適なハイパーパラメータを特定することを目的とした機械学習アルゴリズムのハイパーパラメータ最適化ツールとして成功している。 しかし、ベイズ最適化アルゴリズムの多くは、有効性のみのモデルを選択し、モデルの訓練効率の重要な問題を無視するように設計されている。 実世界のアプリケーションでは、モデルの有効性とトレーニング時間の両方が重要であることを考えると、実運用環境でのデプロイに必要な厳密なトレーニング時間要件を満たすことができないかもしれない。 本稿では,予測効率とトレーニング効率の両立のためのモデル協調最適化のための統一ベイズ最適化フレームワークを提案する。 本稿では,この2つの指標間のトレードオフを捉え,ベイズ最適化の原理を用いて協調的に最適化する方法を示す。 レコメンデーションタスクのモデル選択実験は、この方法で選択されたモデルが、最先端のベイズ最適化アルゴリズムと比較して強い効率を維持しながら、モデルのトレーニング効率を著しく改善することを示している。

関連論文リスト

• Model Fusion through Bayesian Optimization in Language Model Fine-Tuning [16.86812534268461]
  下流タスクのための微調整された事前学習モデルは、様々な領域にまたがる適応性と信頼性で広く採用されているテクニックである。 本稿では,多目的ベイズ最適化により,所望の計量と損失の両方を最適化する新しいモデル融合手法を提案する。 各種下流タスクを対象とした実験では,ベイズ最適化誘導方式による大幅な性能向上が見られた。
  論文  参考訳（メタデータ） (2024-11-11T04:36:58Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Model Uncertainty in Evolutionary Optimization and Bayesian Optimization: A Comparative Analysis [5.6787965501364335]
  ブラックボックス最適化問題は、多くの現実世界のアプリケーションで一般的な問題である。 これらの問題はインプット・アウトプット・インタラクションを通じて内部動作へのアクセスなしに最適化する必要がある。 このような問題に対処するために2つの広く使われている勾配のない最適化手法が用いられている。 本稿では,2つの手法間のモデル不確実性の類似点と相違点を明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-03-21T13:59:19Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• From Function to Distribution Modeling: A PAC-Generative Approach to Offline Optimization [30.689032197123755]
  本稿では、オフラインデータ例の集合を除いて目的関数が不明なオフライン最適化の問題について考察する。 未知の目的関数を学習して最適化するのではなく、より直感的で直接的な視点で、最適化は生成モデルからサンプリングするプロセスと考えることができる。
  論文  参考訳（メタデータ） (2024-01-04T01:32:50Z)
• Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization [59.386153202037086]
  Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。 本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:32:06Z)
• A Survey on Multi-Objective based Parameter Optimization for Deep Learning [1.3223682837381137]
  深層ニューラルネットワークを用いたパラメータ最適化における多目的最適化手法の有効性について検討する。 これら2つの手法を組み合わせて、複数のアプリケーションにおける予測と分析の生成に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-17T07:48:54Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Sample-Efficient Optimization in the Latent Space of Deep Generative Models via Weighted Retraining [1.5293427903448025]
  深部生成モデルから学習した低次元連続潜伏多様体の最適化を行う,効率的なブラックボックス最適化のための改良手法を提案する。 最適化軌道に沿ってクエリされたデータポイントの生成モデルを定期的に再学習し、目的関数値に応じてこれらのデータポイントを重み付けすることで、これを実現する。 この重み付けされたリトレーニングは既存の手法で容易に実装でき、合成および実世界の最適化問題において、その効率と性能を著しく向上することが実証的に示されている。
  論文  参考訳（メタデータ） (2020-06-16T14:34:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。