論文の概要: JaxPruner: A concise library for sparsity research
- arxiv url: http://arxiv.org/abs/2304.14082v3
- Date: Tue, 19 Dec 2023 02:58:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 02:28:10.543348
- Title: JaxPruner: A concise library for sparsity research
- Title(参考訳): JaxPruner: 空間研究のための簡潔なライブラリ
- Authors: Joo Hyung Lee, Wonpyo Park, Nicole Mitchell, Jonathan Pilault, Johan
Obando-Ceron, Han-Byul Kim, Namhoon Lee, Elias Frantar, Yun Long, Amir
Yazdanbakhsh, Shivani Agrawal, Suvinay Subramanian, Xin Wang, Sheng-Chun Kao,
Xingyao Zhang, Trevor Gale, Aart Bik, Woohyun Han, Milen Ferev, Zhonglin Han,
Hong-Seok Kim, Yann Dauphin, Gintare Karolina Dziugaite, Pablo Samuel Castro,
Utku Evci
- Abstract要約: JaxPrunerはスパースニューラルネットワーク研究のためのオープンソースライブラリである。
メモリとレイテンシのオーバーヘッドを最小限に抑えながら、一般的なプルーニングとスパーストレーニングアルゴリズムを実装している。
- 参考スコア(独自算出の注目度): 46.153423603424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces JaxPruner, an open-source JAX-based pruning and sparse
training library for machine learning research. JaxPruner aims to accelerate
research on sparse neural networks by providing concise implementations of
popular pruning and sparse training algorithms with minimal memory and latency
overhead. Algorithms implemented in JaxPruner use a common API and work
seamlessly with the popular optimization library Optax, which, in turn, enables
easy integration with existing JAX based libraries. We demonstrate this ease of
integration by providing examples in four different codebases: Scenic, t5x,
Dopamine and FedJAX and provide baseline experiments on popular benchmarks.
- Abstract(参考訳): 本稿では、オープンソースのJAXベースのプルーニングおよびスパーストレーニングライブラリであるJaxPrunerを紹介する。
jaxprunerは、メモリとレイテンシのオーバーヘッドを最小限に抑えながら、人気のあるpruningとsparseトレーニングアルゴリズムの簡潔な実装を提供することで、スパースニューラルネットワークの研究を加速することを目指している。
jaxprunerに実装されたアルゴリズムは共通のapiを使用して、人気のある最適化ライブラリであるopaxとシームレスに連携する。
この統合の容易さを4つの異なるコードベースで例示することで実証し、人気のあるベンチマークに関するベースライン実験を提供する。
関連論文リスト
- BlackJAX: Composable Bayesian inference in JAX [8.834500692867671]
BlackJAXはサンプリングと変分推論アルゴリズムを実装するライブラリである。
Pythonで書かれており、JAXを使ってNumpPyのようなサンプルをコンパイルし、CPU、GPU、TPU上で変分メソッドを実行する。
論文 参考訳(メタデータ) (2024-02-16T16:21:02Z) - JaxMARL: Multi-Agent RL Environments in JAX [107.7560737385902]
我々は、使いやすさとGPU有効性を組み合わせた最初のオープンソースコードベースであるJaxMARLを紹介します。
私たちの実験によると、JAXベースのトレーニングパイプラインの実行は、既存のアプローチよりも最大で12500倍高速です。
また、人気のあるStarCraft Multi-Agent Challengeのベクトル化、単純化されたバージョンであるSMAXを紹介し、ベンチマークする。
論文 参考訳(メタデータ) (2023-11-16T18:58:43Z) - QDax: A Library for Quality-Diversity and Population-based Algorithms
with Hardware Acceleration [3.8494302715990845]
QDaxはオープンソースのライブラリで、JaxのQuality-Diversity (QD)最適化アルゴリズムの合理化とモジュラーAPIを備えている。
このライブラリは、ブラックボックス最適化から継続的制御まで、最適化目的の汎用ツールとして機能する。
論文 参考訳(メタデータ) (2023-08-07T15:29:44Z) - torchgfn: A PyTorch GFlowNet library [56.071033896777784]
torchgfnはPyTorchライブラリで、このニーズに対処することを目指している。
環境のためのシンプルなAPIと、サンプルと損失のための有用な抽象化を提供する。
論文 参考訳(メタデータ) (2023-05-24T00:20:59Z) - SequeL: A Continual Learning Library in PyTorch and JAX [50.33956216274694]
SequeLは継続学習のためのライブラリで、PyTorchとJAXフレームワークの両方をサポートする。
それは、正規化ベースのアプローチ、リプレイベースのアプローチ、ハイブリッドアプローチを含む、幅広い連続学習アルゴリズムのための統一インターフェースを提供する。
私たちはSequeLをオープンソースライブラリとしてリリースし、研究者や開発者が自身の目的で簡単にライブラリを実験し拡張することができます。
論文 参考訳(メタデータ) (2023-04-21T10:00:22Z) - GRecX: An Efficient and Unified Benchmark for GNN-based Recommendation [55.55523188090938]
我々はGNNベースのレコメンデーションモデルのベンチマークを行うためのオープンソースのフレームワークであるGRecXを紹介する。
GRecXは、GNNベースのレコメンデーションベンチマークを構築するためのコアライブラリと、人気のあるGNNベースのレコメンデーションモデルの実装で構成されている。
我々はGRecXを用いて実験を行い、実験の結果、GRecXはGNNベースの推薦基準を効率的かつ統一的にトレーニングし、ベンチマークすることができることを示した。
論文 参考訳(メタデータ) (2021-11-19T17:45:46Z) - FedJAX: Federated learning simulation with JAX [15.552460338562673]
フェデレートラーニング(Federated Learning)は、分散データ間のトレーニングを可能にする機械学習技術である。
我々は、フェデレーション学習シミュレーションのためのJAXベースのオープンソースライブラリであるFedJAXを紹介する。
ベンチマークの結果、FedJAXは、EMNISTデータセットとStack Overflowデータセットを約1時間でフェデレーション平均化したモデルをトレーニングするのに使用できます。
論文 参考訳(メタデータ) (2021-08-04T15:41:32Z) - Torch-Struct: Deep Structured Prediction Library [138.5262350501951]
本稿では,構造化予測ライブラリTorch-Structを紹介する。
Torch-Structには,シンプルで柔軟な分散ベースのAPIを通じてアクセスされる,確率的構造の広範なコレクションが含まれている。
論文 参考訳(メタデータ) (2020-02-03T16:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。