論文の概要: Parameterized Convex Minorant for Objective Function Approximation in
Amortized Optimization
- arxiv url: http://arxiv.org/abs/2310.02519v1
- Date: Wed, 4 Oct 2023 01:34:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 17:03:13.597337
- Title: Parameterized Convex Minorant for Objective Function Approximation in
Amortized Optimization
- Title（参考訳）: amortized optimizationにおける目的関数近似のためのパラメータ化凸マイノアント
- Authors: Jinrae Kim, Youdan Kim
- Abstract要約: 償却最適化における目的関数の近似に対して, 凸分母法 (PCM) を提案する。
提案した目的近似器は有界の普遍近似器であり,PCMのグローバル化により目的関数近似器のグローバル最小値が得られる。
- 参考スコア（独自算出の注目度）: 0.897438370260135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameterized convex minorant (PCM) method is proposed for the approximation
of the objective function in amortized optimization. In the proposed method,
the objective function approximator is expressed by the sum of a PCM and a
nonnegative gap function, where the objective function approximator is bounded
from below by the PCM convex in the optimization variable. The proposed
objective function approximator is a universal approximator for continuous
functions, and the global minimizer of the PCM attains the global minimum of
the objective function approximator. Therefore, the global minimizer of the
objective function approximator can be obtained by a single convex
optimization. As a realization of the proposed method, extended parameterized
log-sum-exp network is proposed by utilizing a parameterized log-sum-exp
network as the PCM. Numerical simulation is performed for
non-parameterized-convex objective function approximation and for
learning-based nonlinear model predictive control to demonstrate the
performance and characteristics of the proposed method. The simulation results
support that the proposed method can be used to learn objective functions and
to find the global minimizer reliably and quickly by using convex optimization
algorithms.
- Abstract（参考訳）: アモータイズされた最適化における目的関数の近似に対して,パラメータ付き凸分母法 (PCM) を提案する。
提案手法では、目的関数近似器をPCMと非負ギャップ関数の和で表現し、最適化変数のPCM凸により目的関数近似器を下から有界にする。
提案した目的関数近似器は連続関数の普遍近似器であり,PCMの大域最小化器は目的関数近似器のグローバル最小化を実現する。
したがって、目的関数近似器のグローバル最小化は、単一の凸最適化によって得ることができる。
提案手法を実現するために,PCMとしてパラメータ化log-sum-expネットワークを用いて拡張パラメータ化log-sum-expネットワークを提案する。
非パラメトリズド凸目的関数近似と学習に基づく非線形モデル予測制御のための数値シミュレーションを行い、提案手法の性能と特性を実証した。
シミュレーションの結果,提案手法は対象関数を学習し,凸最適化アルゴリズムを用いて大域的最小化器を迅速かつ確実に探索できることがわかった。
関連論文リスト
- Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。
我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
論文 参考訳（メタデータ） (2024-10-22T10:56:52Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Smoothing Policy Iteration for Zero-sum Markov Games [9.158672246275348]
ゼロサムMGの解法としてスムージングポリシロバストネス(SPI)アルゴリズムを提案する。
特に、対向ポリシーは、作用空間上の効率的なサンプリングを可能にする重み関数として機能する。
また,SPIを関数近似で拡張することにより,Smooth adversarial Actor-critic (SaAC) と呼ばれるモデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-03T14:39:06Z) - Distributed stochastic proximal algorithm with random reshuffling for
non-smooth finite-sum optimization [28.862321453597918]
非滑らかな有限サム最小化は機械学習の基本的な問題である。
本稿では,確率的リシャフリングを用いた分散近位勾配アルゴリズムを開発し,その問題の解法を提案する。
論文 参考訳（メタデータ） (2021-11-06T07:29:55Z) - Implicit Rate-Constrained Optimization of Non-decomposable Objectives [37.43791617018009]
機械学習における制約付き最適化問題の一家系を考察する。
我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。
本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
論文 参考訳（メタデータ） (2021-07-23T00:04:39Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳（メタデータ） (2020-12-22T12:59:30Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳（メタデータ） (2020-09-08T06:54:11Z) - Composition of kernel and acquisition functions for High Dimensional
Bayesian Optimization [0.1749935196721634]
目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。
このap-proachは確率的代理モデルの学習/更新をより効率的にする。
都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
論文 参考訳（メタデータ） (2020-03-09T15:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。