論文の概要: Algorithmic Foundation of Deep X-Risk Optimization
- arxiv url: http://arxiv.org/abs/2206.00439v2
- Date: Thu, 2 Jun 2022 17:09:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 11:19:47.291800
- Title: Algorithmic Foundation of Deep X-Risk Optimization
- Title(参考訳): 深部X-Risk最適化のアルゴリズム基礎
- Authors: Tianbao Yang
- Abstract要約: Xリスク(X-risk)は、構成測度または目的の族を表すために導入された用語である。
深層学習にXリスクを最適化する手法のクラスを導入する。
いくつかの強力なベースラインアルゴリズムとその複雑さを示す。
- 参考スコア(独自算出の注目度): 43.331587928414805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: X-risk is a term introduced to represent a family of compositional measures
or objectives, in which each data point is compared with a set of data points
explicitly or implicitly for defining a risk function. It includes many widely
used measures or objectives, e.g., AUROC, AUPRC, partial AUROC, NDCG, MAP,
top-$K$ NDCG, top-$K$ MAP, listwise losses, p-norm push, top push,
precision/recall at top $K$ positions, precision at a certain recall level,
contrastive objectives, etc. While these measures/objectives and their
optimization algorithms have been studied in the literature of machine
learning, computer vision, information retrieval, and etc, optimizing these
measures/objectives has encountered some unique challenges for deep learning.
In this technical report, we survey our recent rigorous efforts for deep X-risk
optimization (DXO) by focusing on its algorithmic foundation. We introduce a
class of techniques for optimizing X-risk for deep learning. We formulate DXO
into three special families of non-convex optimization problems belonging to
non-convex min-max optimization, non-convex compositional optimization, and
non-convex bilevel optimization, respectively. For each family of problems, we
present some strong baseline algorithms and their complexities, which will
motivate further research for improving the existing results. Discussions about
the presented results and future studies are given at the end. Efficient
algorithms for optimizing a variety of X-risks are implemented in the LibAUC
library at www.libauc.org.
- Abstract(参考訳): X-riskは、構成測度や目的の族を表現するために導入された用語で、各データポイントを、リスク関数を定義するために明示的にまたは暗黙的にデータポイントの集合と比較する。
例えば、AUROC, AUPRC, partial AUROC, NDCG, MAP, top-$K$ NDCG, top-$K$ MAP, listwise loss, p-norm push, top push, precision/recall at top $K$ position, precision at a certain recall level, contrastive objectivesなどである。
これらの尺度/目的とその最適化アルゴリズムは、機械学習、コンピュータビジョン、情報検索などの文献で研究されているが、これらの尺度/目的の最適化は、ディープラーニングに特有の課題に遭遇している。
本稿では,そのアルゴリズム基盤に焦点をあてて,最近のDXO(Deep X-risk Optimization)の厳密な取り組みについて調査する。
深層学習のためのXリスク最適化手法のクラスを導入する。
dxoを,非凸ミニマックス最適化,非凸合成最適化,非凸二レベル最適化に属する3種類の非凸最適化問題に定式化する。
それぞれの問題に対して,既存の結果を改善するためのさらなる研究の動機となる強固なベースラインアルゴリズムとその複雑さを示す。
最後に、提示された結果と今後の研究について論じる。
様々なXリスクを最適化する効率的なアルゴリズムが www.libauc.org の LibAUC ライブラリに実装されている。
関連論文リスト
- Exponentially Convergent Algorithms for Supervised Matrix Factorization [2.1485350418225244]
Supervised Factorization (SMF) は、抽出タスクと分類タスクを集約する機械学習手法である。
本稿では,組合わせ係数空間推定における低ランク推定問題としてSMFを'リフト'する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-18T23:24:02Z) - Loss Balancing for Fair Supervised Learning [20.13250413610897]
指導的学習モデルは、貸付、大学入学、顔認識、自然言語処理など様々な領域で使用されている。
学習過程における不公平性予測に対処する様々な概念が提案されている(EL)。
論文 参考訳(メタデータ) (2023-11-07T04:36:13Z) - AxOMaP: Designing FPGA-based Approximate Arithmetic Operators using
Mathematical Programming [2.898055875927704]
FPGAの近似演算子を合成するための,データ解析による数学的プログラミングに基づく手法を提案する。
具体的には、特徴量データの相関解析の結果に基づいて、混合整数の2次制約付きプログラムを定式化する。
従来の進化的アルゴリズムによる最適化と比較して,PPAとBEHAVの併用最適化において,ハイパーボリュームの最大21%の改善が報告されている。
論文 参考訳(メタデータ) (2023-09-23T18:23:54Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳(メタデータ) (2023-05-29T17:25:26Z) - Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。
運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
論文 参考訳(メタデータ) (2022-11-14T12:32:18Z) - On a class of geodesically convex optimization problems solved via
Euclidean MM methods [50.428784381385164]
ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。
最終的に、より広い範囲、より広い範囲の作業を支援するのです。
論文 参考訳(メタデータ) (2022-06-22T23:57:40Z) - Min-Max Bilevel Multi-objective Optimization with Applications in
Machine Learning [30.25074797092709]
本稿では,min-maxバイレベル多目的最適化フレームワークを提案する。
表現学習と超目的学習の応用を強調している。
論文 参考訳(メタデータ) (2022-03-03T18:56:13Z) - Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。
本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
論文 参考訳(メタデータ) (2021-06-02T22:03:36Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳(メタデータ) (2020-10-31T21:35:42Z) - Learning to be Global Optimizer [28.88646928299302]
いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。
学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2020-03-10T03:46:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。