論文の概要: GLISp-r: A preference-based optimization algorithm with convergence
guarantees
- arxiv url: http://arxiv.org/abs/2202.01125v1
- Date: Wed, 2 Feb 2022 16:34:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-03 15:22:04.962491
- Title: GLISp-r: A preference-based optimization algorithm with convergence
guarantees
- Title(参考訳): glisp-r:収束保証付き選好に基づく最適化アルゴリズム
- Authors: Davide Previtali, Mirko Mazzoleni, Antonio Ferramosca, Fabio Previdi
- Abstract要約: 我々は、GLISpと呼ばれる好みに基づく最適化手順の拡張であるGLISp-rを提案する。
GLISp-rでは、MSRSにインスパイアされた新しい候補サンプルを探す際に使用する異なる基準を提案する。
GLISpと比較すると、GLISp-rは好みに基づく最適化問題の局所的な問題に悩まされる可能性が低い。
- 参考スコア(独自算出の注目度): 2.561649173827544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Preference-based optimization algorithms are iterative procedures that seek
the optimal value for a decision variable based only on comparisons between
couples of different samples. At each iteration, a human decision-maker is
asked to express a preference between two samples, highlighting which one, if
any, is better than the other. The optimization procedure must use the observed
preferences to find the value of the decision variable that is most preferred
by the human decision-maker, while also minimizing the number of comparisons.
In this work, we propose GLISp-r, an extension of a recent preference-based
optimization procedure called GLISp. The latter uses a Radial Basis Function
surrogate to describe the tastes of the individual. Iteratively, GLISp proposes
new samples to compare with the current best candidate by trading off
exploitation of the surrogate model and exploration of the decision space. In
GLISp-r, we propose a different criterion to use when looking for a new
candidate sample that is inspired by MSRS, a popular procedure in the black-box
optimization framework (which is closely related to the preference-based one).
Compared to GLISp, GLISp-r is less likely to get stuck on local optimizers of
the preference-based optimization problem. We motivate this claim
theoretically, with a proof of convergence, and empirically, by comparing the
performances of GLISp and GLISp-r on different benchmark optimization problems.
- Abstract(参考訳): 選好に基づく最適化アルゴリズムは、異なるサンプルのカップル間の比較のみに基づいて決定変数の最適値を求める反復的な手順である。
それぞれのイテレーションで、人間の意思決定者は2つのサンプル間の好みを表現するように求められ、どちらがどちらかがどちらよりも優れているかを強調する。
最適化手順は、人間の意思決定者が最も好む決定変数の値を見つけるのに観察された選好を用いるとともに、比較の数を最小にする。
本稿では、GLISpと呼ばれる最近の好みに基づく最適化手法の拡張であるGLISp-rを提案する。
後者は、個人の嗜好を記述するために放射状基底関数surrogateを使用する。
反復的に、glispはサーロゲートモデルのエクスプロイトと決定空間の探索を交換することで、現在のベスト候補と比較する新しいサンプルを提案する。
GLISp-rでは、ブラックボックス最適化フレームワーク(嗜好に基づく手法と密接に関連している)のMSRSにインスパイアされた新しい候補サンプルを探す際に使用する異なる基準を提案する。
GLISpと比較すると、GLISp-rは好みに基づく最適化問題の局所最適化に悩まされる可能性が低い。
我々は、GLISpとGLISp-rの性能を異なるベンチマーク最適化問題で比較することにより、この主張を理論的に、収束の証明とともに、実証的に、動機付けする。
関連論文リスト
- Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳(メタデータ) (2024-03-05T14:18:15Z) - Principled Preferential Bayesian Optimization [23.89199206132312]
優先ベイズ最適化(BO)の問題について検討する。
一対の候補解よりも優先的なフィードバックしか持たないブラックボックス関数を最適化することを目指している。
この問題を解決するために,効率的な計算手法を用いた楽観的アルゴリズムを開発した。
論文 参考訳(メタデータ) (2024-02-08T02:57:47Z) - Towards Efficient and Exact Optimization of Language Model Alignment [97.41422112912574]
本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
我々は,EXOがRLアルゴリズムと同じ方向に最適化されることを証明した。
さらに、現実的な人間の嗜好データに対する既存のアプローチよりも、提案手法の利点を実証する。
論文 参考訳(メタデータ) (2024-02-01T18:51:54Z) - Dual-Directed Algorithm Design for Efficient Pure Exploration [11.492736493413103]
有限の選択肢からなる逐次適応実験の文脈における純粋探索問題を考える。
サンプルの最適な割り当てに対する強い収束の概念の観点から、最適性の十分な条件を導出する。
我々のアルゴリズムは、$epsilon$-best-armの識別としきい値の帯域幅問題に最適である。
論文 参考訳(メタデータ) (2023-10-30T07:29:17Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳(メタデータ) (2022-10-27T01:58:10Z) - Optimizer Amalgamation [124.33523126363728]
私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか?
まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。
また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
論文 参考訳(メタデータ) (2022-03-12T16:07:57Z) - A unified surrogate-based scheme for black-box and preference-based
optimization [2.561649173827544]
ブラックボックスと嗜好に基づく最適化問題は密接に関連しており、同じアプローチのファミリを用いて解決可能であることを示す。
一般的なMSRSフレームワークを一般化した最適化手法である一般化されたメトリック応答面(gMRS)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-03T08:47:54Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳(メタデータ) (2020-10-15T18:09:48Z) - Descending through a Crowded Valley - Benchmarking Deep Learning
Optimizers [29.624308090226375]
本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。
そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。
我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
論文 参考訳(メタデータ) (2020-07-03T08:19:36Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。