論文の概要: Algorithmic Foundations of Empirical X-risk Minimization
- arxiv url: http://arxiv.org/abs/2206.00439v6
- Date: Fri, 27 Oct 2023 16:53:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 18:53:54.228343
- Title: Algorithmic Foundations of Empirical X-risk Minimization
- Title（参考訳）: 経験的Xリスク最小化のアルゴリズム基礎
- Authors: Tianbao Yang
- Abstract要約: この原稿は、機械学習とAIの新しい最適化フレームワーク、bf empirical X-risk baseline (EXM)を紹介している。
Xリスク(X-risk)は、構成測度または目的の族を表すために導入された用語である。
- 参考スコア（独自算出の注目度）: 51.58884973792057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This manuscript introduces a new optimization framework for machine learning
and AI, named {\bf empirical X-risk minimization (EXM)}. X-risk is a term
introduced to represent a family of compositional measures or objectives, in
which each data point is compared with a large number of items explicitly or
implicitly for defining a risk function. It includes surrogate objectives of
many widely used measures and non-decomposable losses, e.g., AUROC, AUPRC,
partial AUROC, NDCG, MAP, precision/recall at top $K$ positions, precision at a
certain recall level, listwise losses, p-norm push, top push, global
contrastive losses, etc. While these non-decomposable objectives and their
optimization algorithms have been studied in the literature of machine
learning, computer vision, information retrieval, and etc, optimizing these
objectives has encountered some unique challenges for deep learning. In this
paper, we present recent rigorous efforts for EXM with a focus on its
algorithmic foundations and its applications. We introduce a class of
algorithmic techniques for solving EXM with smooth non-convex objectives. We
formulate EXM into three special families of non-convex optimization problems
belonging to non-convex compositional optimization, non-convex min-max
optimization and non-convex bilevel optimization, respectively. For each family
of problems, we present some strong baseline algorithms and their complexities,
which will motivate further research for improving the existing results.
Discussions about the presented results and future studies are given at the
end. Efficient algorithms for optimizing a variety of X-risks are implemented
in the LibAUC library at \url{www.libauc.org}.
- Abstract（参考訳）: この原稿は、機械学習とAIのための新しい最適化フレームワークを導入し、EXM(experiical X-risk minimization)と名付けられた。
X-riskは、構成測度や目的の族を表現するために導入された用語で、各データポイントを、リスク関数を定義するために明示的にまたは暗黙的に多数の項目と比較する。
例えば、AUROC, AUPRC, partial AUROC, NDCG, MAP, precision/recall at top $K$ position, precision at a certain recall level, listwise loss, p-norm push, top push, global contrastive lossなどである。
これらの非合成目的とその最適化アルゴリズムは、機械学習、コンピュータビジョン、情報検索などの文献で研究されているが、これらの目的の最適化は、ディープラーニングに特有の課題に遭遇している。
本稿では,アルゴリズムの基礎とその応用に焦点をあてた最近のEXMの厳密な取り組みについて述べる。
滑らかな非凸目的のEXMを解くためのアルゴリズム手法のクラスを導入する。
我々はEXMを,非凸構成最適化,非凸min-max最適化,非凸バイレベル最適化の3つの特別なファミリーに分類する。
それぞれの問題に対して,既存の結果を改善するためのさらなる研究の動機となる強固なベースラインアルゴリズムとその複雑さを示す。
最後に、提示された結果と今後の研究について論じる。
多様なXリスクを最適化する効率的なアルゴリズムは、LibAUCライブラリの \url{www.libauc.org} に実装されている。
関連論文リスト
- EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。
多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。
最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-08T17:54:03Z) - Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。
提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
論文 参考訳（メタデータ） (2024-06-12T17:53:28Z) - Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - Exponentially Convergent Algorithms for Supervised Matrix Factorization [2.1485350418225244]
Supervised Factorization (SMF) は、抽出タスクと分類タスクを集約する機械学習手法である。
本稿では,組合わせ係数空間推定における低ランク推定問題としてSMFを'リフト'する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-18T23:24:02Z) - AxOMaP: Designing FPGA-based Approximate Arithmetic Operators using
Mathematical Programming [2.898055875927704]
FPGAの近似演算子を合成するための,データ解析による数学的プログラミングに基づく手法を提案する。
具体的には、特徴量データの相関解析の結果に基づいて、混合整数の2次制約付きプログラムを定式化する。
従来の進化的アルゴリズムによる最適化と比較して,PPAとBEHAVの併用最適化において,ハイパーボリュームの最大21%の改善が報告されている。
論文 参考訳（メタデータ） (2023-09-23T18:23:54Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳（メタデータ） (2023-05-29T17:25:26Z) - On a class of geodesically convex optimization problems solved via
Euclidean MM methods [50.428784381385164]
ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。
最終的に、より広い範囲、より広い範囲の作業を支援するのです。
論文 参考訳（メタデータ） (2022-06-22T23:57:40Z) - Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。
本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
論文 参考訳（メタデータ） (2021-06-02T22:03:36Z) - Learning to be Global Optimizer [28.88646928299302]
いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。
学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2020-03-10T03:46:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。