論文の概要: Predicting the utility of search spaces for black-box optimization: a simple, budget-aware approach

• arxiv url: http://arxiv.org/abs/2112.08250v2
• Date: Thu, 16 Dec 2021 19:40:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-20 10:07:05.330572
• Title: Predicting the utility of search spaces for black-box optimization: a simple, budget-aware approach
• Title（参考訳）: ブラックボックス最適化のための検索空間の有用性予測 : シンプルで予算対応のアプローチ
• Authors: Setareh Ariafar, Justin Gilmer, Zachary Nado, Jasper Snoek, Rodolphe Jenatton, George E. Dahl
• Abstract要約: ブラックボックス最適化では、ソリューションを探索する検索スペースを指定する必要がある。 多くのアプリケーションにおいて、高品質な検索スペースを見つけることは困難である。 本稿では,確率的応答曲面モデルに適用した実用関数に基づく簡易スコアリング手法を提案する。
• 参考スコア（独自算出の注目度）: 25.07599332807319
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Black box optimization requires specifying a search space to explore for solutions, e.g. a d-dimensional compact space, and this choice is critical for getting the best results at a reasonable budget. Unfortunately, determining a high quality search space can be challenging in many applications. For example, when tuning hyperparameters for machine learning pipelines on a new problem given a limited budget, one must strike a balance between excluding potentially promising regions and keeping the search space small enough to be tractable. The goal of this work is to motivate -- through example applications in tuning deep neural networks -- the problem of predicting the quality of search spaces conditioned on budgets, as well as to provide a simple scoring method based on a utility function applied to a probabilistic response surface model, similar to Bayesian optimization. We show that the method we present can compute meaningful budget-conditional scores in a variety of situations. We also provide experimental evidence that accurate scores can be useful in constructing and pruning search spaces. Ultimately, we believe scoring search spaces should become standard practice in the experimental workflow for deep learning.
• Abstract（参考訳）: ブラックボックス最適化は、d-次元コンパクト空間のような解を探索するための探索空間を特定する必要があり、この選択は妥当な予算で最良の結果を得るために重要である。 残念なことに、多くのアプリケーションで高品質な検索スペースを決定することは難しい。 例えば、予算が限られている新しい問題に対して、機械学習パイプラインのハイパーパラメータをチューニングする場合、潜在的に有望な領域を除外し、検索スペースをトラクタブルに抑えるためのバランスを取る必要がある。 この研究の目的は、例えばディープニューラルネットワークのチューニングの応用を通じて、予算で条件付けられた検索空間の品質を予測することの課題を動機付け、ベイズ最適化のような確率的応答曲面モデルに適用されたユーティリティ関数に基づいた単純なスコアリング方法を提供することである。 提案手法は,様々な状況において有意義な予算条件スコアを算出できることを示す。 また,正確なスコアが探索空間の構築と解析に有用であることを示す実験的な証拠を提供する。 最終的には、深層学習のための実験的なワークフローにおいて、探索空間のスコアリングが標準的実践となるべきだと考えています。

関連論文リスト

• Characterization of Locality in Spin States and Forced Moves for Optimizations [0.36868085124383626]
  最適化問題において、エネルギーランドスケープにおける局所最小値の存在は、世界最小値を求めるために問題となる。 そこで我々は,局所最小値から効率よく抜け出すアルゴリズムを開発したが,正確なサンプリングは得られなかった。 提案アルゴリズムはリジェクションフリーなアルゴリズムに基づいているため,計算コストは低い。
  論文  参考訳（メタデータ） (2023-12-05T07:21:00Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Bayesian Optimization for auto-tuning GPU kernels [0.0]
  GPUカーネルの最適パラメータ設定を見つけることは、たとえ自動化されても、大規模な検索スペースにとって簡単な作業ではない。 拡張性を改善した新しい文脈探索機能と,情報機能選択機構を併用した新しい獲得機能を導入する。
  論文  参考訳（メタデータ） (2021-11-26T11:26:26Z)
• Fighting the curse of dimensionality: A machine learning approach to finding global optima [77.34726150561087]
  本稿では,構造最適化問題におけるグローバル最適化の方法を示す。 特定のコスト関数を利用することで、最適化手順が確立された場合と比較して、グローバルをベストに得るか、最悪の場合、優れた結果を得るかのどちらかを得る。
  論文  参考訳（メタデータ） (2021-10-28T09:50:29Z)
• AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
  現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
  論文  参考訳（メタデータ） (2021-03-22T13:28:56Z)
• Evolving Search Space for Neural Architecture Search [70.71153433676024]
  最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。 我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。 遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-11-22T01:11:19Z)
• BOP-Elites, a Bayesian Optimisation algorithm for Quality-Diversity search [0.0]
  本稿では,エリートアルゴリズム(BOP-Elites)のベイズ最適化を提案する。 機能領域のユーザ定義領域を‘ニッチ’として考えることで、ニッチ毎に最適なソリューションを見つけることが私たちのタスクになります。 得られたアルゴリズムは、特徴空間におけるニッチに属する探索空間の部分を特定し、ニッチごとに最適な解を見つけるのに非常に効果的である。
  論文  参考訳（メタデータ） (2020-05-08T23:49:13Z)
• Projection & Probability-Driven Black-Box Attack [205.9923346080908]
  既存のブラックボックス攻撃は、高次元空間における過剰なクエリを必要とする。 本稿では,この問題を解決するために,プロジェクション&確率駆動型ブラックボックス攻撃(PPBA)を提案する。 我々の手法は、最先端の手法に比べて攻撃成功率の高いクエリを少なくとも24%削減する必要がある。
  論文  参考訳（メタデータ） (2020-05-08T03:37:50Z)
• On Bayesian Search for the Feasible Space Under Computationally Expensive Constraints [0.0]
  実現可能空間と実現不可能空間の境界に解が存在する確率を結合した新しい獲得関数を提案する。 実験により提案機能の有効性が確認された。
  論文  参考訳（メタデータ） (2020-04-23T10:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。