論文の概要: GLISp-r: A preference-based optimization algorithm with convergence
guarantees
- arxiv url: http://arxiv.org/abs/2202.01125v2
- Date: Mon, 2 Oct 2023 08:39:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 21:38:33.791494
- Title: GLISp-r: A preference-based optimization algorithm with convergence
guarantees
- Title(参考訳): glisp-r:収束保証付き選好に基づく最適化アルゴリズム
- Authors: Davide Previtali, Mirko Mazzoleni, Antonio Ferramosca, Fabio Previdi
- Abstract要約: 本稿では、GLISp-rと呼ばれる好みに基づく最適化手法の拡張を提案する。
GLISp-rでは、MSRSにインスパイアされた新しい候補サンプルを探す際に使用する異なる基準を提案する。
GLISpと比較すると、GLISp-rは好みに基づく最適化問題の局所最適化に悩まされる可能性が低い。
- 参考スコア(独自算出の注目度): 2.517173388598129
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Preference-based optimization algorithms are iterative procedures that seek
the optimal calibration of a decision vector based only on comparisons between
couples of different tunings. At each iteration, a human decision-maker
expresses a preference between two calibrations (samples), highlighting which
one, if any, is better than the other. The optimization procedure must use the
observed preferences to find the tuning of the decision vector that is most
preferred by the decision-maker, while also minimizing the number of
comparisons. In this work, we formulate the preference-based optimization
problem from a utility theory perspective. Then, we propose GLISp-r, an
extension of a recent preference-based optimization procedure called GLISp. The
latter uses a Radial Basis Function surrogate to describe the tastes of the
decision-maker. Iteratively, GLISp proposes new samples to compare with the
best calibration available by trading off exploitation of the surrogate model
and exploration of the decision space. In GLISp-r, we propose a different
criterion to use when looking for new candidate samples that is inspired by
MSRS, a popular procedure in the black-box optimization framework. Compared to
GLISp, GLISp-r is less likely to get stuck on local optima of the
preference-based optimization problem. We motivate this claim theoretically,
with a proof of global convergence, and empirically, by comparing the
performances of GLISp and GLISp-r on several benchmark optimization problems.
- Abstract(参考訳): 選好に基づく最適化アルゴリズムは、複数の異なるチューニング間の比較のみに基づいて決定ベクトルの最適キャリブレーションを求める反復的な手順である。
それぞれのイテレーションで、人間の意思決定者は、2つのキャリブレーション(サンプル)のどちらがどちらよりも優れているかを強調する。
最適化手順は、観察された選好を使用して、意思決定者が最も好む決定ベクトルのチューニングを見つけなければならないが、比較の数を最小にする。
本研究では,実用理論の観点から選好に基づく最適化問題を定式化する。
そして、GLISpと呼ばれる最近の嗜好に基づく最適化手法の拡張であるGLISp-rを提案する。
後者は、決定者の味を記述するためにラジアル基底関数サロゲートを使用する。
反復的に、glispはサーロゲートモデルの活用と決定空間の探索を交換することで得られる最良のキャリブレーションと比較する新しいサンプルを提案する。
GLISp-rでは、ブラックボックス最適化フレームワークMSRSにインスパイアされた新しい候補サンプルを探す際に使用する異なる基準を提案する。
GLISpと比較すると、GLISp-rは好みに基づく最適化問題の局所最適化に悩まされる可能性が低い。
我々は,いくつかのベンチマーク最適化問題に対する glisp と glisp-r の性能を比較することにより,この主張を理論上,大域収束の証明とともに動機づける。
関連論文リスト
- Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳(メタデータ) (2024-03-05T14:18:15Z) - Principled Preferential Bayesian Optimization [23.89199206132312]
優先ベイズ最適化(BO)の問題について検討する。
一対の候補解よりも優先的なフィードバックしか持たないブラックボックス関数を最適化することを目指している。
この問題を解決するために,効率的な計算手法を用いた楽観的アルゴリズムを開発した。
論文 参考訳(メタデータ) (2024-02-08T02:57:47Z) - Towards Efficient and Exact Optimization of Language Model Alignment [97.41422112912574]
本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
我々は,EXOがRLアルゴリズムと同じ方向に最適化されることを証明した。
さらに、現実的な人間の嗜好データに対する既存のアプローチよりも、提案手法の利点を実証する。
論文 参考訳(メタデータ) (2024-02-01T18:51:54Z) - Dual-Directed Algorithm Design for Efficient Pure Exploration [11.492736493413103]
有限の選択肢からなる逐次適応実験の文脈における純粋探索問題を考える。
サンプルの最適な割り当てに対する強い収束の概念の観点から、最適性の十分な条件を導出する。
我々のアルゴリズムは、$epsilon$-best-armの識別としきい値の帯域幅問題に最適である。
論文 参考訳(メタデータ) (2023-10-30T07:29:17Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳(メタデータ) (2022-10-27T01:58:10Z) - Optimizer Amalgamation [124.33523126363728]
私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか?
まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。
また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
論文 参考訳(メタデータ) (2022-03-12T16:07:57Z) - A unified surrogate-based scheme for black-box and preference-based
optimization [2.561649173827544]
ブラックボックスと嗜好に基づく最適化問題は密接に関連しており、同じアプローチのファミリを用いて解決可能であることを示す。
一般的なMSRSフレームワークを一般化した最適化手法である一般化されたメトリック応答面(gMRS)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-03T08:47:54Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳(メタデータ) (2020-10-15T18:09:48Z) - Descending through a Crowded Valley - Benchmarking Deep Learning
Optimizers [29.624308090226375]
本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。
そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。
我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
論文 参考訳(メタデータ) (2020-07-03T08:19:36Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。