論文の概要: NCVX: A User-Friendly and Scalable Package for Nonconvex Optimization in
Machine Learning
- arxiv url: http://arxiv.org/abs/2111.13984v1
- Date: Sat, 27 Nov 2021 21:02:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 10:51:51.068372
- Title: NCVX: A User-Friendly and Scalable Package for Nonconvex Optimization in
Machine Learning
- Title(参考訳): NCVX: 機械学習における非凸最適化のためのユーザフレンドリーでスケーラブルなパッケージ
- Authors: Buyun Liang, Ju Sun
- Abstract要約: NCVXは非平滑(NSMT)と制約付き(CSTR)機械学習問題を解決するためのピソンパッケージである。
自動微分、GPUアクセラレーション、テンソル入力、スケーラブルQPソルバを備えている。
NCVXは、その種の最初のCSTRディープラーニング問題を解くことができる。
- 参考スコア(独自算出の注目度): 4.5687771576879594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimizing nonconvex (NCVX) problems, especially those nonsmooth (NSMT) and
constrained (CSTR), is an essential part of machine learning and deep learning.
But it is hard to reliably solve this type of problems without optimization
expertise. Existing general-purpose NCVX optimization packages are powerful,
but typically cannot handle nonsmoothness. GRANSO is among the first packages
targeting NCVX, NSMT, CSTR problems. However, it has several limitations such
as the lack of auto-differentiation and GPU acceleration, which preclude the
potential broad deployment by non-experts. To lower the technical barrier for
the machine learning community, we revamp GRANSO into a user-friendly and
scalable python package named NCVX, featuring auto-differentiation, GPU
acceleration, tensor input, scalable QP solver, and zero dependency on
proprietary packages. As a highlight, NCVX can solve general CSTR deep learning
problems, the first of its kind. NCVX is available at https://ncvx.org, with
detailed documentation and numerous examples from machine learning and other
fields.
- Abstract(参考訳): 非凸(NCVX)問題の最適化、特に非滑らか(NSMT)と制約付き(CSTR)は、機械学習とディープラーニングの重要な部分である。
しかし、このタイプの問題を最適化の専門知識なしで確実に解決することは難しい。
既存の汎用NCVX最適化パッケージは強力だが、通常非滑らか性を扱うことはできない。
GRANSOは、NCVX、NSMT、CSTR問題をターゲットにした最初のパッケージである。
しかし、自動微分やgpuアクセラレーションの欠如など、非専門家による広範なデプロイメントを妨げるいくつかの制限がある。
マシンラーニングコミュニティの技術的な障壁を低くするために、gransoを、自動微分、gpuアクセラレーション、テンソル入力、スケーラブルなqpソルバ、プロプライエタリパッケージへの依存性ゼロを特徴とする、ユーザフレンドリーでスケーラブルなpythonパッケージncvxにリニューアルしました。
強調として、NCVXは、最初のCSTRディープラーニング問題を解くことができる。
NCVXはhttps://ncvx.orgで公開されており、詳細なドキュメンテーションと機械学習やその他の分野からの多くの例がある。
関連論文リスト
- A General Framework for Learning from Weak Supervision [97.4298482689398]
本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。
GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。
また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-02T21:48:50Z) - Online Clustered Codebook [100.1650001618827]
オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。
弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。
私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
論文 参考訳(メタデータ) (2023-07-27T18:31:04Z) - Non-Convex Optimizations for Machine Learning with Theoretical
Guarantee: Robust Matrix Completion and Neural Network Learning [5.141583534407068]
機械学習システムはまだ"ブラックボックス"という概念の下にあり、そこではパフォーマンスが理解できない。
この論文では、2つの一般的な非問題は、パブリックニューラルネットワーク学習を設計することである。
論文 参考訳(メタデータ) (2023-06-28T20:53:49Z) - NCVX: A General-Purpose Optimization Solver for Constrained Machine and
Deep Learning [2.1485350418225244]
NCVXは制約付きマシン/ディープ学習問題のための新しいソフトウェアパッケージである。
PyTorchから自動微分、GPUアクセラレーション、テンソル変数を継承する。
論文 参考訳(メタデータ) (2022-10-03T14:41:26Z) - Large Scale Mask Optimization Via Convolutional Fourier Neural Operator
and Litho-Guided Self Training [54.16367467777526]
マスクタスクを効率的に学習できる畳み込みニューラルネットワーク(CFCF)を提案する。
機械学習ベースのフレームワークが初めて、最先端の数値マスクデータセットを上回った。
論文 参考訳(メタデータ) (2022-07-08T16:39:31Z) - Algorithmic Foundations of Empirical X-risk Minimization [51.58884973792057]
この原稿は、機械学習とAIの新しい最適化フレームワーク、bf empirical X-risk baseline (EXM)を紹介している。
Xリスク(X-risk)は、構成測度または目的の族を表すために導入された用語である。
論文 参考訳(メタデータ) (2022-06-01T12:22:56Z) - Optimization for Classical Machine Learning Problems on the GPU [12.162243004602505]
我々は、GPU上の制約付き最適化問題を解決するためにGENOフレームワークを拡張した。
このフレームワークは、ユーザが制約付き最適化問題を、読みやすいモデリング言語で指定できるようにする。
そして、この仕様からソルバが自動的に生成される。
論文 参考訳(メタデータ) (2022-03-30T14:15:54Z) - Neural Fixed-Point Acceleration for Convex Optimization [10.06435200305151]
本稿では,メタラーニング法と古典的加速度法を併用したニューラル固定点加速法を提案する。
コンベックスコーンプログラミングのための最先端の解法であるSCSに,我々のフレームワークを適用した。
論文 参考訳(メタデータ) (2021-07-21T17:59:34Z) - Learning to Sparsify Travelling Salesman Problem Instances [0.5985204759362747]
プルーニングマシンラーニングを前処理のステップとして使用し、旅行セールスマンの問題をスパーシャライズするために正確なプログラミングアプローチを行います。
私たちの学習アプローチは、非常に少ないトレーニングデータを必要とし、数学的分析に適応可能です。
論文 参考訳(メタデータ) (2021-04-19T14:35:14Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳(メタデータ) (2021-02-16T11:45:35Z) - KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning [49.77278179376902]
Deep Neural Networks (DNN)は、新しいタスクを学ぶときの以前のタスクに関する知識を忘れることができ、これはtextitcatastrophic forgettingとして知られている。
最近の連続学習手法は、玩具サイズのデータセットにおける破滅的な問題を緩和することができる。
我々は,各タスクに対して,カーネルワイドなハイブリッドな2値マスクと実値のソフトマスクを学習する,textit- Kernel-wise Soft Mask (KSM) と呼ばれる新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2020-09-11T21:48:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。