論文の概要: Optimizing Black-box Metrics with Adaptive Surrogates
- arxiv url: http://arxiv.org/abs/2002.08605v1
- Date: Thu, 20 Feb 2020 07:52:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 06:12:46.987439
- Title: Optimizing Black-box Metrics with Adaptive Surrogates
- Title(参考訳): アダプティブサロゲートを用いたブラックボックスメトリックの最適化
- Authors: Qijia Jiang, Olaoluwa Adigun, Harikrishna Narasimhan, Mahdi Milani
Fard, Maya Gupta
- Abstract要約: ブラックボックスとハード・トゥ・オプティマイズ・メトリクスを用いたトレーニングモデルの課題を,少数の簡易・最適化サロゲートの単調関数として表現することで解決する。
トレーニング問題を緩和された代理空間上の最適化として、計量の局所勾配を推定し、不正確な凸射影を実行することで解決する。
- 参考スコア(独自算出の注目度): 20.836228396622104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of training models with black-box and hard-to-optimize
metrics by expressing the metric as a monotonic function of a small number of
easy-to-optimize surrogates. We pose the training problem as an optimization
over a relaxed surrogate space, which we solve by estimating local gradients
for the metric and performing inexact convex projections. We analyze gradient
estimates based on finite differences and local linear interpolations, and show
convergence of our approach under smoothness assumptions with respect to the
surrogates. Experimental results on classification and ranking problems verify
the proposal performs on par with methods that know the mathematical
formulation, and adds notable value when the form of the metric is unknown.
- Abstract(参考訳): 我々は,ブラックボックスとハード・トゥ・オプティマイズ・メトリックを用いたトレーニングモデルの問題を,少量の簡単なサロゲートの単調関数として表現することで解決する。
緩和されたサーロゲート空間上での最適化として学習問題を仮定し, 計量の局所勾配を推定し, 不正確な凸射影を行うことで解く。
有限差分と局所線形補間に基づいて勾配推定を解析し、代用体に対する滑らかな仮定の下で、我々のアプローチの収束を示す。
分類とランク付けの問題に関する実験の結果は、数学的定式化を知っている方法と同等のパフォーマンスを検証し、計量の形式が不明な場合に注目すべき値を追加する。
関連論文リスト
- Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳(メタデータ) (2023-03-31T02:10:30Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳(メタデータ) (2022-12-22T22:05:16Z) - Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。
これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。
勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
論文 参考訳(メタデータ) (2022-08-09T07:36:25Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳(メタデータ) (2022-03-18T05:49:13Z) - Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive
Step Size [29.15132344744801]
本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。
これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
論文 参考訳(メタデータ) (2021-12-30T00:50:30Z) - Implicit Rate-Constrained Optimization of Non-decomposable Objectives [37.43791617018009]
機械学習における制約付き最適化問題の一家系を考察する。
我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。
本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
論文 参考訳(メタデータ) (2021-07-23T00:04:39Z) - Converting ADMM to a Proximal Gradient for Convex Optimization Problems [4.56877715768796]
融解ラッソや凸クラスタリングなどのスパース推定では、問題を解くために、近位勾配法またはマルチプライヤー(ADMM)の交互方向法のいずれかを適用します。
本論文では,制約と目的が強く凸であると仮定し,ADMM溶液を近位勾配法に変換する一般的な方法を提案する。
数値実験により, 効率の面で有意な改善が得られることを示した。
論文 参考訳(メタデータ) (2021-04-22T07:41:12Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z) - Stochastic Zeroth-order Riemannian Derivative Estimation and
Optimization [15.78743548731191]
多様体非線型性の非線型性の難しさを克服するために、ガウス滑らか化関数のオラクル版を提案する。
ニューラルネットワークに対するロボティクスとブラックボックス攻撃に対するブラックボックス剛性制御における,結果によるアルゴリズムの適用性と実世界の応用を実証する。
論文 参考訳(メタデータ) (2020-03-25T06:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。