論文の概要: Gradient boosting for convex cone predict and optimize problems

• arxiv url: http://arxiv.org/abs/2204.06895v1
• Date: Thu, 14 Apr 2022 11:47:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 13:07:12.802543
• Title: Gradient boosting for convex cone predict and optimize problems
• Title（参考訳）: 凸円錐予測と問題最適化のための勾配向上
• Authors: Andrew Butler and Roy H. Kwon
• Abstract要約: 本稿では,決定の後悔を最小限に抑えるため,予測モデルアンサンブルを訓練するための勾配向上アルゴリズムであるdboostを提案する。 最先端のSPO法と比較した実験結果から,dboostはサンプル外決定の後悔をさらに軽減できることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many problems in engineering and statistics involve both predictive forecasting and decision-based optimization. Traditionally, predictive models are optimized independently from the final decision-based optimization problem. In contrast, a `smart, predict then optimize' (SPO) framework optimizes prediction models to explicitly minimize the final downstream decision loss. In this paper we present dboost, a gradient boosting algorithm for training prediction model ensembles to minimize decision regret. The dboost framework supports any convex optimization program that can be cast as convex quadratic cone program and gradient boosting is performed by implicit differentiation of a custom fixed-point mapping. To our knowledge, the dboost framework is the first general purpose implementation of gradient boosting to predict and optimize problems. Experimental results comparing with state-of-the-art SPO methods show that dboost can further reduce out-of-sample decision regret.
• Abstract（参考訳）: 工学と統計学における多くの問題は予測予測と決定に基づく最適化の両方を含む。 従来、予測モデルは最終決定に基づく最適化問題から独立して最適化される。 対照的に、‘smart, predict then optimize’(spo)フレームワークは予測モデルを最適化し、最終的な下流決定損失を明示的に最小化する。 本稿では,決定後悔を最小限に抑えるため,予測モデルの学習のための勾配向上アルゴリズムであるdboostを提案する。 このdboostフレームワークは凸2次錐プログラムとしてキャスト可能な凸最適化プログラムをサポートし、独自の固定点写像の暗黙的な微分により勾配向上を行う。 我々の知る限り、dboostフレームワークは、問題を予測し最適化するためのグラデーション強化の最初の汎用的な実装である。 最先端のSPO法と比較した実験結果から,dboostはサンプル外決定の後悔をさらに軽減できることが示された。

関連論文リスト

• Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
  我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。 特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
  論文  参考訳（メタデータ） (2024-09-23T13:11:37Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Decision-focused predictions via pessimistic bilevel optimization: a computational study [0.7499722271664147]
  最適化パラメータの不確かさは、重要かつ長年にわたる課題である。 予測モデルを構築して,それを用いた意思決定の文言的指標を測定します。 トラクタビリティを実現するために,様々な計算手法を示す。
  論文  参考訳（メタデータ） (2023-12-29T15:05:00Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Parameter-free projected gradient descent [0.0]
  我々は、射影勾配 Descent (PGD) を用いて、閉凸集合上の凸関数を最小化する問題を考える。 本稿では,AdaGradのパラメータフリーバージョンを提案する。これは初期化と最適化の距離に適応し,下位段階の平方ノルムの和に適応する。 提案アルゴリズムはプロジェクションステップを処理でき、リスタートを伴わず、従来のPGDと比較して軌道に沿ってリウィーディングや追加評価を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T07:22:44Z)
• Predict and Optimize: Through the Lens of Learning to Rank [9.434400627011108]
  ノイズコントラスト推定は、ソリューションキャッシュのランク付けを学習する場合とみなすことができる。 また、最適化問題を解くことなく、閉じた形で区別できるペアワイズとリストワイズランキングの損失関数も開発する。
  論文  参考訳（メタデータ） (2021-12-07T10:11:44Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Fast Rates for Contextual Linear Optimization [52.39202699484225]
  提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。 予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
  論文  参考訳（メタデータ） (2020-11-05T18:43:59Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。