論文の概要: Deterministic Langevin Unconstrained Optimization with Normalizing Flows

• arxiv url: http://arxiv.org/abs/2310.00745v1
• Date: Sun, 1 Oct 2023 17:46:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 02:18:35.407182
• Title: Deterministic Langevin Unconstrained Optimization with Normalizing Flows
• Title（参考訳）: 正規化フローを用いた決定論的ランゲヴィン非拘束最適化
• Authors: James M. Sullivan, Uros Seljak
• Abstract要約: 我々は,Fokker-Planck方程式とLangevin方程式にインスパイアされたブラックボックス関数に対するグローバルで自由な代理最適化戦略を導入する。 本研究は,標準合成試験関数の最適目的に向けての競争力の向上を実証する。
• 参考スコア（独自算出の注目度）: 3.988614978933934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a global, gradient-free surrogate optimization strategy for expensive black-box functions inspired by the Fokker-Planck and Langevin equations. These can be written as an optimization problem where the objective is the target function to maximize minus the logarithm of the current density of evaluated samples. This objective balances exploitation of the target objective with exploration of low-density regions. The method, Deterministic Langevin Optimization (DLO), relies on a Normalizing Flow density estimate to perform active learning and select proposal points for evaluation. This strategy differs qualitatively from the widely-used acquisition functions employed by Bayesian Optimization methods, and can accommodate a range of surrogate choices. We demonstrate superior or competitive progress toward objective optima on standard synthetic test functions, as well as on non-convex and multi-modal posteriors of moderate dimension. On real-world objectives, such as scientific and neural network hyperparameter optimization, DLO is competitive with state-of-the-art baselines.
• Abstract（参考訳）: 我々は,fokker-planck方程式とlangevin方程式にインスパイアされた高価なブラックボックス関数に対する大域的,勾配なしのサロゲート最適化戦略を提案する。 これらは、評価されたサンプルの現在の密度の対数の最大化を目標関数とする最適化問題として記述できる。 この目的は、目標の活用と低密度領域の探索のバランスをとる。 この手法である決定論的ランゲヴィン最適化(DLO)は,正規化フロー密度推定を用いて能動的学習を行い,評価のための提案点を選択する。 この戦略はベイズ最適化法で広く用いられている獲得関数と定性的に異なり、様々なサロゲート選択に対応できる。 中等次元の非凸・多モード後部と同様に、標準合成試験関数に対する客観的最適性に対する優越的あるいは競争的な進歩を示す。 科学とニューラルネットワークのハイパーパラメータ最適化のような現実世界の目的において、DLOは最先端のベースラインと競合する。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• MONGOOSE: Path-wise Smooth Bayesian Optimisation via Meta-learning [29.97648417539237]
  ブラックボックスの客観的関数を評価するコストの主な貢献は、しばしば測定のためのシステムを作成するのに必要な労力である。 本稿では, 連続評価の間隔が大きくなるにつれて, 準備コストが増大する一般的なシナリオについて考察する。 我々のアルゴリズムMONGOOSEは、メタリアントパラメトリックポリシーを用いてスムーズな最適化軌道を生成する。
  論文  参考訳（メタデータ） (2023-02-22T18:20:36Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Bayesian Optimization with Informative Covariance [13.113313427848828]
  探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。 提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-04T15:05:11Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
  モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。 学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-23T17:33:14Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)
• Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization [0.1749935196721634]
  目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。 このap-proachは確率的代理モデルの学習/更新をより効率的にする。 都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
  論文  参考訳（メタデータ） (2020-03-09T15:45:57Z)
• Mixed Strategies for Robust Optimization of Unknown Objectives [93.8672371143881]
  そこでは,不確実なパラメータの最悪の実現に対して,未知の目的関数を最適化することを目的として,ロバストな最適化問題を考察する。 我々は,未知の目的をノイズ点評価から逐次学習する,新しいサンプル効率アルゴリズムGP-MROを設計する。 GP-MROは、最悪のケースで期待される目標値を最大化する、堅牢でランダムな混合戦略の発見を目指している。
  論文  参考訳（メタデータ） (2020-02-28T09:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。