論文の概要: Efficient Non-Parametric Optimizer Search for Diverse Tasks
- arxiv url: http://arxiv.org/abs/2209.13575v1
- Date: Tue, 27 Sep 2022 17:51:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 14:23:47.685598
- Title: Efficient Non-Parametric Optimizer Search for Diverse Tasks
- Title（参考訳）: 多様なタスクに対する効率的な非パラメトリック最適探索
- Authors: Ruochen Wang, Yuanhao Xiong, Minhao Cheng, Cho-Jui Hsieh
- Abstract要約: 興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。
基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。
我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
- 参考スコア（独自算出の注目度）: 93.64739408827604
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficient and automated design of optimizers plays a crucial role in
full-stack AutoML systems. However, prior methods in optimizer search are often
limited by their scalability, generability, or sample efficiency. With the goal
of democratizing research and application of optimizer search, we present the
first efficient, scalable and generalizable framework that can directly search
on the tasks of interest. We first observe that optimizer updates are
fundamentally mathematical expressions applied to the gradient. Inspired by the
innate tree structure of the underlying math expressions, we re-arrange the
space of optimizers into a super-tree, where each path encodes an optimizer.
This way, optimizer search can be naturally formulated as a path-finding
problem, allowing a variety of well-established tree traversal methods to be
used as the search algorithm. We adopt an adaptation of the Monte Carlo method
to tree search, equipped with rejection sampling and equivalent- form detection
that leverage the characteristics of optimizer update rules to further boost
the sample efficiency. We provide a diverse set of tasks to benchmark our
algorithm and demonstrate that, with only 128 evaluations, the proposed
framework can discover optimizers that surpass both human-designed counterparts
and prior optimizer search methods.
- Abstract（参考訳）: フルスタックのAutoMLシステムでは,オプティマイザの効率的かつ自動設計が重要な役割を担っている。
しかし、オプティマイザ探索における先行手法は、スケーラビリティ、生成性、サンプル効率によって制限されることが多い。
オプティマイザ検索の研究と応用の民主化を目標として,関心のあるタスクを直接検索可能な,効率的でスケーラブルで汎用的なフレームワークを提案する。
まず,オプティマイザ更新がグラデーションに適用される数学的表現であることを示す。
基礎となる数学表現の自然木構造に触発されて、オプティマイザの空間をスーパーツリーに再配置し、各パスがオプティマイザをエンコードする。
このように、オプティマイザ探索は自然に経路探索問題として定式化され、様々な確立された木横断法を探索アルゴリズムとして用いることができる。
我々は,モンテカルロ法を木探索に適用し,再試行サンプリングと等価形状検出を施し,オプティマイザ更新ルールの特性を活用し,標本効率をさらに向上する。
アルゴリズムをベンチマークするタスクセットを多種多様に提供し、128評価で、提案フレームワークは、人間が設計した最適化手法と事前最適化手法を超越した最適化手法を見つけることができることを示した。
関連論文リスト
- Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳（メタデータ） (2024-03-05T14:18:15Z) - DynamoRep: Trajectory-Based Population Dynamics for Classification of
Black-box Optimization Problems [0.755972004983746]
簡単な統計量を用いて最適化アルゴリズムの軌道を記述する特徴抽出法を提案する。
提案するDynamoRep機能は,最適化アルゴリズムが動作している問題クラスを特定するのに十分な情報を取得する。
論文 参考訳（メタデータ） (2023-06-08T06:57:07Z) - Improving Performance Insensitivity of Large-scale Multiobjective
Optimization via Monte Carlo Tree Search [7.34812867861951]
モンテカルロ木探索に基づく大規模多目的最適化問題の解法を提案する。
提案手法は,モンテカルロ木上に新たなノードを構築するための決定変数をサンプリングし,最適化と評価を行う。
大規模な決定変数による性能感度を低下させるために、さらなる探索のための評価が良いノードを選択する。
論文 参考訳（メタデータ） (2023-04-08T17:15:49Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳（メタデータ） (2022-10-27T01:58:10Z) - Bayesian Optimization over Permutation Spaces [30.650753803587794]
BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。
BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。
複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
論文 参考訳（メタデータ） (2021-12-02T08:20:50Z) - Naive Automated Machine Learning [0.0]
事前に定義されたパイプラインスキームの異なるアルゴリズムを分離して最適化します。
孤立した一般化は、探索空間を著しく減少させる。
論文 参考訳（メタデータ） (2021-11-29T13:12:54Z) - Meta Learning Black-Box Population-Based Optimizers [0.0]
人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。
メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
論文 参考訳（メタデータ） (2021-03-05T08:13:25Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Stochastic Optimization Forests [60.523606291705214]
標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。
概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
論文 参考訳（メタデータ） (2020-08-17T16:56:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。