論文の概要: LibAUC: A Deep Learning Library for X-Risk Optimization

• arxiv url: http://arxiv.org/abs/2306.03065v1
• Date: Mon, 5 Jun 2023 17:43:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 13:34:07.337185
• Title: LibAUC: A Deep Learning Library for X-Risk Optimization
• Title（参考訳）: LibAUC: X-Risk最適化のためのディープラーニングライブラリ
• Authors: Zhuoning Yuan, Dixian Zhu, Zi-Hao Qiu, Gang Li, Xuanhui Wang, Tianbao Yang
• Abstract要約: 本稿では,LibAUC という賞を受賞したディープラーニングライブラリについて紹介する。 LibAUCは、Xリスクと呼ばれるリスク関数のファミリーを最適化するための最先端のアルゴリズムを実装している。
• 参考スコア（独自算出の注目度）: 43.32145407575245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces the award-winning deep learning (DL) library called LibAUC for implementing state-of-the-art algorithms towards optimizing a family of risk functions named X-risks. X-risks refer to a family of compositional functions in which the loss function of each data point is defined in a way that contrasts the data point with a large number of others. They have broad applications in AI for solving classical and emerging problems, including but not limited to classification for imbalanced data (CID), learning to rank (LTR), and contrastive learning of representations (CLR). The motivation of developing LibAUC is to address the convergence issues of existing libraries for solving these problems. In particular, existing libraries may not converge or require very large mini-batch sizes in order to attain good performance for these problems, due to the usage of the standard mini-batch technique in the empirical risk minimization (ERM) framework. Our library is for deep X-risk optimization (DXO) that has achieved great success in solving a variety of tasks for CID, LTR and CLR. The contributions of this paper include: (1) It introduces a new mini-batch based pipeline for implementing DXO algorithms, which differs from existing DL pipeline in the design of controlled data samplers and dynamic mini-batch losses; (2) It provides extensive benchmarking experiments for ablation studies and comparison with existing libraries. The LibAUC library features scalable performance for millions of items to be contrasted, faster and better convergence than existing libraries for optimizing X-risks, seamless PyTorch deployment and versatile APIs for various loss optimization. Our library is available to the open source community at https://github.com/Optimization-AI/LibAUC, to facilitate further academic research and industrial applications.
• Abstract（参考訳）: 本稿では,リスク関数のファミリーを最適化するための最先端アルゴリズムを実装したLibAUCというライブラリについて紹介する。 x-リスク(x-risk)とは、各データポイントの損失関数が、他の多くのデータポイントと対照的な方法で定義される合成関数の族を指す。 それらは古典的および新興的な問題を解決するためのAIの幅広い応用があり、その中には不均衡データ(CID)の分類、ランク付け学習(LTR)、表現の対照的な学習(CLR)などが含まれる。 LibAUCを開発する動機は、これらの問題を解決するために既存のライブラリの収束問題に取り組むことである。 特に、既存のライブラリは、経験的リスク最小化(ERM)フレームワークで標準のミニバッチ技術を使用するため、これらの問題に対して優れたパフォーマンスを達成するために、非常に大きなミニバッチサイズを収束または必要としない可能性がある。 我々のライブラリは深層Xリスク最適化(DXO)のためのもので、CID、LTR、CLRの様々なタスクを解くことに成功した。 本論文のコントリビューションは,(1) DXOアルゴリズムを実装するための新しいミニバッチベースのパイプラインを導入し, 制御されたデータサンプリング器の設計と動的ミニバッチ損失において, 既存のDLパイプラインと異なり, 2) アブレーション研究と既存ライブラリとの比較のための広範なベンチマーク実験を提供する。 libaucライブラリは,x-riskの最適化やシームレスなpytorchデプロイメント,さまざまな損失最適化のための汎用apiなど,既存のライブラリよりも高速かつ優れたコンバージェンスを実現するために,数百万の項目に対してスケーラブルなパフォーマンスを提供する。 当社のライブラリはオープンソースコミュニティのhttps://github.com/Optimization-AI/LibAUCで公開されています。

関連論文リスト

• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• SequeL: A Continual Learning Library in PyTorch and JAX [50.33956216274694]
  SequeLは継続学習のためのライブラリで、PyTorchとJAXフレームワークの両方をサポートする。 それは、正規化ベースのアプローチ、リプレイベースのアプローチ、ハイブリッドアプローチを含む、幅広い連続学習アルゴリズムのための統一インターフェースを提供する。 私たちはSequeLをオープンソースライブラリとしてリリースし、研究者や開発者が自身の目的で簡単にライブラリを実験し拡張することができます。
  論文  参考訳（メタデータ） (2023-04-21T10:00:22Z)
• Algorithmic Foundations of Empirical X-risk Minimization [51.58884973792057]
  この原稿は、機械学習とAIの新しい最適化フレームワーク、bf empirical X-risk baseline (EXM)を紹介している。 Xリスク(X-risk)は、構成測度または目的の族を表すために導入された用語である。
  論文  参考訳（メタデータ） (2022-06-01T12:22:56Z)
• MRCpy: A Library for Minimax Risk Classifiers [10.380882297891272]
  PythonライブラリであるMRCpyは、ロバストリスク最小化(RRM)アプローチに基づいて、ミニマックスリスク分類器(MRC)を実装している。 MRCpyは、Scikit-learnのような人気のあるPythonライブラリの標準に従い、可読性と使いやすさと、他のライブラリとのシームレスな統合を容易にする。
  論文  参考訳（メタデータ） (2021-08-04T10:31:20Z)
• Picasso: A Sparse Learning Library for High Dimensional Data Analysis in R and Python [77.33905890197269]
  本稿では,様々なスパース学習問題に対して,経路座標を統一的に最適化する新しいライブラリについて述べる。 ライブラリはR++でコード化されており、ユーザフレンドリーなスパース実験を行っている。
  論文  参考訳（メタデータ） (2020-06-27T02:39:24Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。