論文の概要: NCVX: A User-Friendly and Scalable Package for Nonconvex Optimization in Machine Learning

• arxiv url: http://arxiv.org/abs/2111.13984v1
• Date: Sat, 27 Nov 2021 21:02:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 10:51:51.068372
• Title: NCVX: A User-Friendly and Scalable Package for Nonconvex Optimization in Machine Learning
• Title（参考訳）: NCVX: 機械学習における非凸最適化のためのユーザフレンドリーでスケーラブルなパッケージ
• Authors: Buyun Liang, Ju Sun
• Abstract要約: NCVXは非平滑(NSMT)と制約付き(CSTR)機械学習問題を解決するためのピソンパッケージである。 自動微分、GPUアクセラレーション、テンソル入力、スケーラブルQPソルバを備えている。 NCVXは、その種の最初のCSTRディープラーニング問題を解くことができる。
• 参考スコア（独自算出の注目度）: 4.5687771576879594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing nonconvex (NCVX) problems, especially those nonsmooth (NSMT) and constrained (CSTR), is an essential part of machine learning and deep learning. But it is hard to reliably solve this type of problems without optimization expertise. Existing general-purpose NCVX optimization packages are powerful, but typically cannot handle nonsmoothness. GRANSO is among the first packages targeting NCVX, NSMT, CSTR problems. However, it has several limitations such as the lack of auto-differentiation and GPU acceleration, which preclude the potential broad deployment by non-experts. To lower the technical barrier for the machine learning community, we revamp GRANSO into a user-friendly and scalable python package named NCVX, featuring auto-differentiation, GPU acceleration, tensor input, scalable QP solver, and zero dependency on proprietary packages. As a highlight, NCVX can solve general CSTR deep learning problems, the first of its kind. NCVX is available at https://ncvx.org, with detailed documentation and numerous examples from machine learning and other fields.
• Abstract（参考訳）: 非凸(NCVX)問題の最適化、特に非滑らか(NSMT)と制約付き(CSTR)は、機械学習とディープラーニングの重要な部分である。 しかし、このタイプの問題を最適化の専門知識なしで確実に解決することは難しい。 既存の汎用NCVX最適化パッケージは強力だが、通常非滑らか性を扱うことはできない。 GRANSOは、NCVX、NSMT、CSTR問題をターゲットにした最初のパッケージである。 しかし、自動微分やgpuアクセラレーションの欠如など、非専門家による広範なデプロイメントを妨げるいくつかの制限がある。 マシンラーニングコミュニティの技術的な障壁を低くするために、gransoを、自動微分、gpuアクセラレーション、テンソル入力、スケーラブルなqpソルバ、プロプライエタリパッケージへの依存性ゼロを特徴とする、ユーザフレンドリーでスケーラブルなpythonパッケージncvxにリニューアルしました。 強調として、NCVXは、最初のCSTRディープラーニング問題を解くことができる。 NCVXはhttps://ncvx.orgで公開されており、詳細なドキュメンテーションと機械学習やその他の分野からの多くの例がある。

関連論文リスト

• Review Non-convex Optimization Method for Machine Learning [0.0]
  非局所最適化は、特にディープニューラルネットワークやサドルマシンのような複雑なモデルにおいて、機械学習を進める上で重要なツールである。 機械学習における非局所最適化手法と非局所最適化の応用について検討する。
  論文  参考訳（メタデータ） (2024-10-02T20:34:33Z)
• Benchmarking Predictive Coding Networks -- Made Simple [48.652114040426625]
  まず,性能と簡易性を重視したPCXというライブラリを提案する。 私たちはPCXを使って、コミュニティが実験に使用する大規模なベンチマークを実装しています。
  論文  参考訳（メタデータ） (2024-07-01T10:33:44Z)
• A General Framework for Learning from Weak Supervision [93.89870459388185]
  本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。 GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。 また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-02T21:48:50Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)
• Non-Convex Optimizations for Machine Learning with Theoretical Guarantee: Robust Matrix Completion and Neural Network Learning [5.141583534407068]
  機械学習システムはまだ"ブラックボックス"という概念の下にあり、そこではパフォーマンスが理解できない。 この論文では、2つの一般的な非問題は、パブリックニューラルネットワーク学習を設計することである。
  論文  参考訳（メタデータ） (2023-06-28T20:53:49Z)
• NCVX: A General-Purpose Optimization Solver for Constrained Machine and Deep Learning [2.1485350418225244]
  NCVXは制約付きマシン/ディープ学習問題のための新しいソフトウェアパッケージである。 PyTorchから自動微分、GPUアクセラレーション、テンソル変数を継承する。
  論文  参考訳（メタデータ） (2022-10-03T14:41:26Z)
• Algorithmic Foundations of Empirical X-risk Minimization [51.58884973792057]
  この原稿は、機械学習とAIの新しい最適化フレームワーク、bf empirical X-risk baseline (EXM)を紹介している。 Xリスク(X-risk)は、構成測度または目的の族を表すために導入された用語である。
  論文  参考訳（メタデータ） (2022-06-01T12:22:56Z)
• Optimization for Classical Machine Learning Problems on the GPU [12.162243004602505]
  我々は、GPU上の制約付き最適化問題を解決するためにGENOフレームワークを拡張した。 このフレームワークは、ユーザが制約付き最適化問題を、読みやすいモデリング言語で指定できるようにする。 そして、この仕様からソルバが自動的に生成される。
  論文  参考訳（メタデータ） (2022-03-30T14:15:54Z)
• Neural Fixed-Point Acceleration for Convex Optimization [10.06435200305151]
  本稿では,メタラーニング法と古典的加速度法を併用したニューラル固定点加速法を提案する。 コンベックスコーンプログラミングのための最先端の解法であるSCSに,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2021-07-21T17:59:34Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning [49.77278179376902]
  Deep Neural Networks (DNN)は、新しいタスクを学ぶときの以前のタスクに関する知識を忘れることができ、これはtextitcatastrophic forgettingとして知られている。 最近の連続学習手法は、玩具サイズのデータセットにおける破滅的な問題を緩和することができる。 我々は,各タスクに対して,カーネルワイドなハイブリッドな2値マスクと実値のソフトマスクを学習する,textit- Kernel-wise Soft Mask (KSM) と呼ばれる新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-09-11T21:48:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。