論文の概要: Implicit Rate-Constrained Optimization of Non-decomposable Objectives

• arxiv url: http://arxiv.org/abs/2107.10960v1
• Date: Fri, 23 Jul 2021 00:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-26 14:02:42.317024
• Title: Implicit Rate-Constrained Optimization of Non-decomposable Objectives
• Title（参考訳）: 非可逆目的の暗黙的速度制約付き最適化
• Authors: Abhishek Kumar, Harikrishna Narasimhan, Andrew Cotter
• Abstract要約: 機械学習における制約付き最適化問題の一家系を考察する。 我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。 本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
• 参考スコア（独自算出の注目度）: 37.43791617018009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a popular family of constrained optimization problems arising in machine learning that involve optimizing a non-decomposable evaluation metric with a certain thresholded form, while constraining another metric of interest. Examples of such problems include optimizing the false negative rate at a fixed false positive rate, optimizing precision at a fixed recall, optimizing the area under the precision-recall or ROC curves, etc. Our key idea is to formulate a rate-constrained optimization that expresses the threshold parameter as a function of the model parameters via the Implicit Function theorem. We show how the resulting optimization problem can be solved using standard gradient based methods. Experiments on benchmark datasets demonstrate the effectiveness of our proposed method over existing state-of-the art approaches for these problems.
• Abstract（参考訳）: 機械学習における制約付き最適化問題は、あるしきい値を持つ非分解性評価指標を最適化すると共に、別の関心度を制約する。 そのような問題の例としては、固定された偽陽性率での偽陰性率の最適化、固定リコールでの精度の最適化、精度リコールまたはroc曲線下の領域の最適化などがある。 我々の重要なアイデアは、しきい値パラメータを暗黙関数定理を通じてモデルパラメータの関数として表現するレート制約付き最適化を定式化することである。 標準勾配法を用いて,結果の最適化問題を解く方法を示す。 これらの問題に対する既存の最先端技術に対する提案手法の有効性を示すベンチマークデータセットの実験を行った。

関連論文リスト

• BO4IO: A Bayesian optimization approach to inverse optimization with uncertainty quantification [5.031974232392534]
  この研究はデータ駆動逆最適化(IO)に対処する。 目的は最適化モデルにおける未知のパラメータを、最適あるいは準最適と仮定できる観測された決定から推定することである。
  論文  参考訳（メタデータ） (2024-05-28T06:52:17Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Predict+Optimize for Packing and Covering LPs with Unknown Parameters in Constraints [5.762370982168012]
  本稿では,予測+設定のための新規かつ実用的な枠組みを提案するが,目的と制約の両方に未知のパラメータを持つ。 本稿では, 補正関数の概念と, 損失関数に付加的なペナルティ項を導入し, 真のパラメータが明らかにされた後, 推定された最適解を実現可能な解に変換する現実的なシナリオをモデル化する。 私たちのアプローチは、マンディとガンズの以前の研究にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2022-09-08T09:28:24Z)
• Non-Convex Optimization with Certificates and Fast Rates Through Kernel Sums of Squares [68.8204255655161]
  非最適化近似問題を考える。 本稿では,最優先計算を保証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-11T09:37:04Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Objective-Sensitive Principal Component Analysis for High-Dimensional Inverse Problems [0.0]
  本稿では,大規模乱数場の適応的,微分可能なパラメータ化手法を提案する。 開発した手法は主成分分析(PCA)に基づくが,目的関数の振る舞いを考慮した主成分の純粋にデータ駆動に基づく基礎を変更する。 最適パラメータ分解のための3つのアルゴリズムを2次元合成履歴マッチングの目的に適用した。
  論文  参考訳（メタデータ） (2020-06-02T18:51:17Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。