論文の概要: MPAX: Mathematical Programming in JAX
- arxiv url: http://arxiv.org/abs/2412.09734v2
- Date: Thu, 06 Feb 2025 18:36:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-07 14:29:44.304774
- Title: MPAX: Mathematical Programming in JAX
- Title(参考訳): MPAX:JAXにおける数学的プログラミング
- Authors: Haihao Lu, Zedong Peng, Jinwen Yang,
- Abstract要約: MPAXは、線形プログラミングを機械学習に統合するための汎用的で効率的なツールボックスである。
バッチ解決、自動微分、デバイス並列化といった機能とともに、ハードウェアアクセラレーションをネイティブにサポートする。
- 参考スコア(独自算出の注目度): 4.320198313490604
- License:
- Abstract: This paper presents MPAX (Mathematical Programming in JAX), a versatile and efficient toolbox for integrating linear programming (LP) into machine learning workflows. MPAX implemented the state-of-the-art first-order methods, restarted average primal-dual hybrid gradient and reflected restarted Halpern primal-dual hybrid gradient, to solve LPs in JAX. This provides native support for hardware accelerations along with features like batch solving, auto-differentiation, and device parallelism. Extensive numerical experiments demonstrate the advantages of MPAX over existing solvers. The solver is available at https://github.com/MIT-Lu-Lab/MPAX.
- Abstract(参考訳): 本稿では,線形プログラミング(LP)を機械学習ワークフローに統合するための汎用的で効率的なツールボックス MPAX (Mathematical Programming in JAX) を提案する。
MPAXは最先端の1次法を実装し、平均原始双対ハイブリッド勾配を再開し、再再再帰したハルペルン原始双対ハイブリッド勾配をJAXで解いた。
これにより、バッチ解決、自動微分、デバイス並列化といった機能とともに、ハードウェアアクセラレーションをネイティブにサポートする。
大規模な数値実験は、既存の解法よりも MPAX の利点を実証している。
解法はhttps://github.com/MIT-Lu-Lab/MPAXで入手できる。
関連論文リスト
- Gradients of Functions of Large Matrices [18.361820028457718]
数値線形代数のワークホースを効率的に区別する方法を示す。
以前は知られていなかったLanczosとArnoldiのイテレーションのアジョイントシステムをJAXで実装し、結果として得られるコードがDiffraxと競合することを示す。
これらはすべて、問題固有のコードの最適化なしに実現されます。
論文 参考訳(メタデータ) (2024-05-27T15:39:45Z) - Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。
そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。
スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
論文 参考訳(メタデータ) (2024-05-06T16:03:32Z) - JAX-SPH: A Differentiable Smoothed Particle Hydrodynamics Framework [8.977530522693444]
粒子に基づく流体シミュレーションは、ナヴィエ・ストークス方程式を解くための強力なツールとして登場した。
このような問題を解決するためのツールボックスに機械学習メソッドが最近追加されたことは、品質と速度のトレードオフの境界を押し広げている。
我々は、ディープラーニングフレームワークと互換性のあるラグランジアン流体シミュレータへの道のりを導き、JAX-SPHを提案する。
論文 参考訳(メタデータ) (2024-03-07T18:53:53Z) - BlackJAX: Composable Bayesian inference in JAX [8.834500692867671]
BlackJAXはサンプリングと変分推論アルゴリズムを実装するライブラリである。
Pythonで書かれており、JAXを使ってNumpPyのようなサンプルをコンパイルし、CPU、GPU、TPU上で変分メソッドを実行する。
論文 参考訳(メタデータ) (2024-02-16T16:21:02Z) - JaxMARL: Multi-Agent RL Environments and Algorithms in JAX [105.343918678781]
我々は、GPU対応の効率と多くの一般的なMARL環境のサポートを組み合わせた、最初のオープンソースPythonベースのライブラリであるJaxMARLを紹介します。
我々の実験は、壁時計時間の観点から、JAXベースのトレーニングパイプラインが既存のアプローチの約14倍高速であることを示している。
また、人気の高いStarCraft Multi-Agent ChallengeのJAXベースの近似的な再実装であるSMAXを紹介し、ベンチマークする。
論文 参考訳(メタデータ) (2023-11-16T18:58:43Z) - In Situ Framework for Coupling Simulation and Machine Learning with
Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。
シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。
この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文 参考訳(メタデータ) (2023-06-22T14:07:54Z) - JaxPruner: A concise library for sparsity research [46.153423603424]
JaxPrunerはスパースニューラルネットワーク研究のためのオープンソースライブラリである。
メモリとレイテンシのオーバーヘッドを最小限に抑えながら、一般的なプルーニングとスパーストレーニングアルゴリズムを実装している。
論文 参考訳(メタデータ) (2023-04-27T10:45:30Z) - Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。
最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。
ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文 参考訳(メタデータ) (2020-06-18T08:16:25Z) - MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical
Models [96.1052289276254]
この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。
驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
論文 参考訳(メタデータ) (2020-04-16T16:20:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。