論文の概要: Exploring the Algorithm-Dependent Generalization of AUPRC Optimization
with List Stability
- arxiv url: http://arxiv.org/abs/2209.13262v1
- Date: Tue, 27 Sep 2022 09:06:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 14:57:48.548886
- Title: Exploring the Algorithm-Dependent Generalization of AUPRC Optimization
with List Stability
- Title（参考訳）: リスト安定性を考慮したAUPRC最適化のアルゴリズム依存一般化の探索
- Authors: Peisong Wen, Qianqian Xu, Zhiyong Yang, Yuan He, Qingming Huang
- Abstract要約: AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。
本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。
3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
- 参考スコア（独自算出の注目度）: 107.65337427333064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic optimization of the Area Under the Precision-Recall Curve (AUPRC)
is a crucial problem for machine learning. Although various algorithms have
been extensively studied for AUPRC optimization, the generalization is only
guaranteed in the multi-query case. In this work, we present the first trial in
the single-query generalization of stochastic AUPRC optimization. For sharper
generalization bounds, we focus on algorithm-dependent generalization. There
are both algorithmic and theoretical obstacles to our destination. From an
algorithmic perspective, we notice that the majority of existing stochastic
estimators are biased only when the sampling strategy is biased, and is
leave-one-out unstable due to the non-decomposability. To address these issues,
we propose a sampling-rate-invariant unbiased stochastic estimator with
superior stability. On top of this, the AUPRC optimization is formulated as a
composition optimization problem, and a stochastic algorithm is proposed to
solve this problem. From a theoretical perspective, standard techniques of the
algorithm-dependent generalization analysis cannot be directly applied to such
a listwise compositional optimization problem. To fill this gap, we extend the
model stability from instancewise losses to listwise losses and bridge the
corresponding generalization and stability. Additionally, we construct state
transition matrices to describe the recurrence of the stability, and simplify
calculations by matrix spectrum. Practically, experimental results on three
image retrieval datasets on speak to the effectiveness and soundness of our
framework.
- Abstract（参考訳）: AUPRC(Area Under the Precision-Recall Curve)の確率的最適化は機械学習にとって重要な問題である。
AUPRC最適化のために様々なアルゴリズムが研究されているが、一般化はマルチクエリの場合のみ保証されている。
本研究では,確率 AUPRC 最適化の単一クエリ一般化における最初の試行を示す。
よりシャープな一般化境界に対しては、アルゴリズム依存の一般化に焦点を当てる。
目的地にはアルゴリズムと理論の両方の障害があります。
アルゴリズムの観点からは、既存の確率推定器の大多数はサンプリング戦略に偏りがある場合にのみ偏りがあり、非分解性のため不安定であることに気付く。
これらの問題に対処するために,より安定なサンプリングレート不変な確率的推定器を提案する。
これに加えて、AUPRC最適化は合成最適化問題として定式化され、この問題を解決するために確率的アルゴリズムが提案される。
理論的には、アルゴリズム依存汎化解析の標準的な手法は、リストワイズ合成最適化問題に直接適用することはできない。
このギャップを埋めるために、モデル安定性を例の損失からリストの損失まで拡張し、対応する一般化と安定性を橋渡しする。
さらに,安定性の再現性を記述するために状態遷移行列を構築し,行列スペクトルによる計算を簡略化する。
3つの画像検索データセットの実験結果から,本フレームワークの有効性と健全性について述べる。
関連論文リスト
- Stability and Generalization for Stochastic Recursive Momentum-based Algorithms for (Strongly-)Convex One to $K$-Level Stochastic Optimizations [20.809499420384256]
STORMベースのアルゴリズムは、K$レベル(K geq 3$)の最適化問題を解決するために広く開発されている。
本稿では,STORMに基づく3つの代表的なアルゴリズムを包括的に分析する。
論文 参考訳（メタデータ） (2024-07-07T07:07:04Z) - Quantization-Based Optimization: Alternative Stochastic Approximation of
Global Optimization [0.0]
NP-hard問題における目的関数のエネルギーレベルを定量化するための大域的最適化アルゴリズムを提案する。
数値実験により,提案アルゴリズムはNP-ハード最適化問題の解法において従来の学習法よりも優れていた。
論文 参考訳（メタデータ） (2022-11-08T03:01:45Z) - Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。
提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
論文 参考訳（メタデータ） (2022-10-23T23:23:23Z) - Iterative regularization for low complexity regularizers [18.87017835436693]
反復正則化は、最適化アルゴリズムの暗黙のバイアスを利用して不正な問題を正則化する。
非滑らかかつ非凸な関数によって記述されるバイアスを処理できる最初の反復正則化手法を提案し,研究する。
論文 参考訳（メタデータ） (2022-02-01T14:09:00Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-09-23T17:38:24Z) - Stability and Generalization for Randomized Coordinate Descent [19.687456295228156]
RCDによってトレーニングされたモデルがどのように例をテストするかを研究する作業はない。
本稿では,アルゴリズム安定性の強力なツールを活用することにより,RCDの一般化解析を初期化する。
解析の結果,RCDは勾配降下よりも安定性がよいことがわかった。
論文 参考訳（メタデータ） (2021-08-17T02:52:50Z) - Stochastic Optimization of Areas Under Precision-Recall Curves with
Provable Convergence [66.83161885378192]
ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。
本稿では,深層学習のためのAUPRCの最適化手法を提案する。
論文 参考訳（メタデータ） (2021-04-18T06:22:21Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳（メタデータ） (2020-12-11T08:28:51Z) - A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-23T01:34:18Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。