論文の概要: StochasticRank: Global Optimization of Scale-Free Discrete Functions
- arxiv url: http://arxiv.org/abs/2003.02122v2
- Date: Thu, 20 Aug 2020 08:32:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 12:23:40.358378
- Title: StochasticRank: Global Optimization of Scale-Free Discrete Functions
- Title(参考訳): StochasticRank: スケールフリー離散関数のグローバル最適化
- Authors: Aleksei Ustimenko, Liudmila Prokhorenkova
- Abstract要約: 本稿では,ランキングメトリクスを直接最適化する強力な,効率的なフレームワークを提案する。
古典的平滑化アプローチは偏見を導入し, 適切な偏見の普遍解を示す。
我々のフレームワークは任意のスケールフリー離散損失関数に適用できる。
- 参考スコア(独自算出の注目度): 28.224889996383396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce a powerful and efficient framework for direct
optimization of ranking metrics. The problem is ill-posed due to the discrete
structure of the loss, and to deal with that, we introduce two important
techniques: stochastic smoothing and novel gradient estimate based on partial
integration. We show that classic smoothing approaches may introduce bias and
present a universal solution for a proper debiasing. Importantly, we can
guarantee global convergence of our method by adopting a recently proposed
Stochastic Gradient Langevin Boosting algorithm. Our algorithm is implemented
as a part of the CatBoost gradient boosting library and outperforms the
existing approaches on several learning-to-rank datasets. In addition to
ranking metrics, our framework applies to any scale-free discrete loss
function.
- Abstract(参考訳): 本稿では,ランキングメトリクスを直接最適化する強力な,効率的なフレームワークを提案する。
損失の離散構造が原因で問題が発生し,それに対応するために,確率的滑らか化と部分積分に基づく新しい勾配推定という2つの重要な手法を導入する。
従来の平滑化手法はバイアスを生じさせ、適切なデバイアスの普遍的な解を与える。
さらに,最近提案する確率勾配ランジュバンブースティングアルゴリズムを用いることで,本手法のグローバル収束を保証できる。
提案アルゴリズムは,CatBoostグラデーション向上ライブラリの一部として実装され,いくつかの学習からランクへのデータセットに対する既存のアプローチよりも優れている。
評価基準に加えて、我々のフレームワークは任意のスケールフリー離散損失関数に適用できる。
関連論文リスト
- Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳(メタデータ) (2022-03-03T03:46:18Z) - A framework for bilevel optimization that enables stochastic and global
variance reduction algorithms [17.12280360174073]
双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。
本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。
我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAは$O(frac1T)$収束率を持ち、Polyak-Lojasciewicz仮定の下で線形収束を達成することを示した。
論文 参考訳(メタデータ) (2022-01-31T18:17:25Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-08-22T16:00:45Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳(メタデータ) (2021-06-29T09:48:46Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳(メタデータ) (2021-04-12T13:13:34Z) - Individually Fair Gradient Boosting [86.1984206610373]
我々は、グラデーションブーストにおいて個人の公平性を強制するタスクを検討する。
アルゴリズムがグローバルに収束し、一般化することを示す。
また,アルゴリズムバイアスの影響を受けやすい3つのml問題に対するアルゴリズムの有効性を示す。
論文 参考訳(メタデータ) (2021-03-31T03:06:57Z) - Stochastic Compositional Gradient Descent under Compositional
constraints [13.170519806372075]
目的関数と制約関数が凸であり,関数の合成として表される制約最適化問題について検討する。
この問題は、公平な分類/回帰とキューシステムの設計に生じる。
提案手法は最適かつ実現可能な解をほぼ確実に見つけることが保証されている。
論文 参考訳(メタデータ) (2020-12-17T05:38:37Z) - An adaptive stochastic gradient-free approach for high-dimensional
blackbox optimization [0.0]
本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。
本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
論文 参考訳(メタデータ) (2020-06-18T22:47:58Z) - Optimizing generalization on the train set: a novel gradient-based
framework to train parameters and hyperparameters simultaneously [0.0]
一般化は機械学習における中心的な問題である。
本稿では,新たなリスク尺度に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2020-06-11T18:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。