Fugu-MT 論文翻訳(概要): Optimization for Classical Machine Learning Problems on the GPU

論文の概要: Optimization for Classical Machine Learning Problems on the GPU

arxiv url: http://arxiv.org/abs/2203.16340v1
Date: Wed, 30 Mar 2022 14:15:54 GMT
ステータス: 処理完了
システム内更新日: 2022-03-31 14:20:55.165192
Title: Optimization for Classical Machine Learning Problems on the GPU
Title（参考訳）: GPUにおける古典的機械学習問題の最適化
Authors: S\"oren Laue, Mark Blacher, Joachim Giesen
Abstract要約: 我々は、GPU上の制約付き最適化問題を解決するためにGENOフレームワークを拡張した。このフレームワークは、ユーザが制約付き最適化問題を、読みやすいモデリング言語で指定できるようにする。そして、この仕様からソルバが自動的に生成される。
参考スコア（独自算出の注目度）: 12.162243004602505
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Constrained optimization problems arise frequently in classical machine learning. There exist frameworks addressing constrained optimization, for instance, CVXPY and GENO. However, in contrast to deep learning frameworks, GPU support is limited. Here, we extend the GENO framework to also solve constrained optimization problems on the GPU. The framework allows the user to specify constrained optimization problems in an easy-to-read modeling language. A solver is then automatically generated from this specification. When run on the GPU, the solver outperforms state-of-the-art approaches like CVXPY combined with a GPU-accelerated solver such as cuOSQP or SCS by a few orders of magnitude.
Abstract（参考訳）: 制約付き最適化問題は古典的な機械学習で頻繁に発生する。 CVXPYやGENOなど、制約付き最適化に対処するフレームワークが存在する。しかし、ディープラーニングフレームワークとは対照的に、GPUのサポートは限られている。ここでは、genOフレームワークを拡張し、GPU上の制約付き最適化問題を解く。このフレームワークは、ユーザが制約付き最適化問題を、読みやすいモデリング言語で指定できるようにする。そして、この仕様からソルバが自動的に生成される。 GPU上で実行すると、CVXPYのような最先端のアプローチと、cuOSQPやSCSといったGPUアクセラレーションによるソルバとを、数桁の桁差で比較する。

関連論文リスト

SIP: Autotuning GPU Native Schedules via Stochastic Instruction Perturbation [0.0]
大型言語モデル(LLM)はその出現以来、重要なワークロードとなっている。また、数十億のパラメータを持ち、大量のデータで訓練されているため、計算コストも高い。近年、LLMのトレーニングと推論のための専用カーネルが開発されているため、ハードウェアリソースは可能な限り十分に活用されている。
論文参考訳（メタデータ） (2024-03-25T15:26:50Z)
Landscape Surrogate: Learning Decision Losses for Mathematical Optimization Under Partial Information [48.784330281177446]
学習統合最適化の最近の研究は、最適化が部分的にのみ観察される場合や、専門家のチューニングなしに汎用性が不十分な環境では有望であることを示している。本稿では,$fcirc mathbfg$の代替として,スムーズで学習可能なランドスケープサロゲートを提案する。このサロゲートはニューラルネットワークによって学習可能で、$mathbfg$ソルバよりも高速に計算でき、トレーニング中に密度が高く滑らかな勾配を提供し、目に見えない最適化問題に一般化でき、交互最適化によって効率的に学習される。
論文参考訳（メタデータ） (2023-07-18T04:29:16Z)
Going faster to see further: GPU-accelerated value iteration and simulation for perishable inventory control using JAX [5.856836693166898]
我々はPythonライブラリJAXを使って、ハイレベルなAPIで基礎となるMarkov決定プロセスの反復とシミュレータを実装しています。提案手法は,従来は実現不可能あるいは現実的と考えられていた設定に値反復の使用を拡張できる。我々は、複数の候補ポリシーパラメータの並列評価を可能にするJAXのシミュレーション最適化を用いて、最適補充ポリシーの性能をポリシーと比較した。
論文参考訳（メタデータ） (2023-03-19T14:20:44Z)
NCVX: A General-Purpose Optimization Solver for Constrained Machine and Deep Learning [2.1485350418225244]
NCVXは制約付きマシン/ディープ学習問題のための新しいソフトウェアパッケージである。 PyTorchから自動微分、GPUアクセラレーション、テンソル変数を継承する。
論文参考訳（メタデータ） (2022-10-03T14:41:26Z)
Towards making the most of NLP-based device mapping optimization for OpenCL kernels [5.6596607119831575]
我々は、加速されたOpenCLカーネルのための最適なデバイス選択(CPUまたはGPU)の問題に取り組むCummins et al.、すなわちDeeptuneの開発を拡張した。ソースコードの文脈情報を拡張した4つの異なるモデルを提案する。実験の結果,提案手法はCumminsらの手法を上回り,予測精度を最大4%向上させることがわかった。
論文参考訳（メタデータ） (2022-08-30T10:20:55Z)
On a class of geodesically convex optimization problems solved via Euclidean MM methods [50.428784381385164]
ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。最終的に、より広い範囲、より広い範囲の作業を支援するのです。
論文参考訳（メタデータ） (2022-06-22T23:57:40Z)
Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
論文参考訳（メタデータ） (2021-10-13T20:58:15Z)
Implementation of Parallel Simplified Swarm Optimization in CUDA [2.322689362836168]
最適化コンピューティングでは、インテリジェントなSwarmアルゴリズム(SIAs)が並列化に適している。本稿では,計算能力と汎用性を考慮したGPUに基づくSimplified Swarm Algorithm Optimization (PSSO)を提案する。結果から,Nの次数による時間複雑性の低減が達成され,資源プリエンプションの問題は完全に回避された。
論文参考訳（メタデータ） (2021-10-01T00:15:45Z)
Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
論文参考訳（メタデータ） (2021-06-02T22:03:36Z)
Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文参考訳（メタデータ） (2020-06-18T08:16:25Z)
MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
論文参考訳（メタデータ） (2020-04-16T16:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。