論文の概要: JaxPruner: A concise library for sparsity research

• arxiv url: http://arxiv.org/abs/2304.14082v3
• Date: Tue, 19 Dec 2023 02:58:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 02:28:10.543348
• Title: JaxPruner: A concise library for sparsity research
• Title（参考訳）: JaxPruner: 空間研究のための簡潔なライブラリ
• Authors: Joo Hyung Lee, Wonpyo Park, Nicole Mitchell, Jonathan Pilault, Johan Obando-Ceron, Han-Byul Kim, Namhoon Lee, Elias Frantar, Yun Long, Amir Yazdanbakhsh, Shivani Agrawal, Suvinay Subramanian, Xin Wang, Sheng-Chun Kao, Xingyao Zhang, Trevor Gale, Aart Bik, Woohyun Han, Milen Ferev, Zhonglin Han, Hong-Seok Kim, Yann Dauphin, Gintare Karolina Dziugaite, Pablo Samuel Castro, Utku Evci
• Abstract要約: JaxPrunerはスパースニューラルネットワーク研究のためのオープンソースライブラリである。 メモリとレイテンシのオーバーヘッドを最小限に抑えながら、一般的なプルーニングとスパーストレーニングアルゴリズムを実装している。
• 参考スコア（独自算出の注目度）: 46.153423603424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces JaxPruner, an open-source JAX-based pruning and sparse training library for machine learning research. JaxPruner aims to accelerate research on sparse neural networks by providing concise implementations of popular pruning and sparse training algorithms with minimal memory and latency overhead. Algorithms implemented in JaxPruner use a common API and work seamlessly with the popular optimization library Optax, which, in turn, enables easy integration with existing JAX based libraries. We demonstrate this ease of integration by providing examples in four different codebases: Scenic, t5x, Dopamine and FedJAX and provide baseline experiments on popular benchmarks.
• Abstract（参考訳）: 本稿では、オープンソースのJAXベースのプルーニングおよびスパーストレーニングライブラリであるJaxPrunerを紹介する。 jaxprunerは、メモリとレイテンシのオーバーヘッドを最小限に抑えながら、人気のあるpruningとsparseトレーニングアルゴリズムの簡潔な実装を提供することで、スパースニューラルネットワークの研究を加速することを目指している。 jaxprunerに実装されたアルゴリズムは共通のapiを使用して、人気のある最適化ライブラリであるopaxとシームレスに連携する。 この統合の容易さを4つの異なるコードベースで例示することで実証し、人気のあるベンチマークに関するベースライン実験を提供する。

関連論文リスト

• Benchmarking Predictive Coding Networks -- Made Simple [48.652114040426625]
  まず,性能と簡易性を重視したPCXというライブラリを提案する。 私たちはPCXを使って、コミュニティが実験に使用する大規模なベンチマークを実装しています。
  論文  参考訳（メタデータ） (2024-07-01T10:33:44Z)
• JaxUED: A simple and useable UED library in Jax [1.5821811088000381]
  本稿では,最新のUnsupervised Environment Design (UED) アルゴリズムの依存性を最小限に抑えるオープンソースライブラリであるJaxUEDを紹介する。 cleanRLにインスパイアされた我々は、高速で、明確で、理解しやすく、容易に変更可能な実装を提供し、UEDの研究を加速することを目的としている。
  論文  参考訳（メタデータ） (2024-03-19T18:40:50Z)
• DrJAX: Scalable and Differentiable MapReduce Primitives in JAX [9.676195490442367]
  DrJAXは大規模分散および並列機械学習アルゴリズムをサポートするように設計されたライブラリである。 DrJAXはMapReduce計算のビルディングブロックをJAXのプリミティブとして組み込みます。 DrJAX計算はXLA HLOに直接変換することができ、幅広いMLトレーニングプラットフォームとの柔軟な統合を可能にする。
  論文  参考訳（メタデータ） (2024-03-11T19:51:01Z)
• BlackJAX: Composable Bayesian inference in JAX [8.834500692867671]
  BlackJAXはサンプリングと変分推論アルゴリズムを実装するライブラリである。 Pythonで書かれており、JAXを使ってNumpPyのようなサンプルをコンパイルし、CPU、GPU、TPU上で変分メソッドを実行する。
  論文  参考訳（メタデータ） (2024-02-16T16:21:02Z)
• JaxMARL: Multi-Agent RL Environments in JAX [107.7560737385902]
  我々は、使いやすさとGPU有効性を組み合わせた最初のオープンソースコードベースであるJaxMARLを紹介します。 私たちの実験によると、JAXベースのトレーニングパイプラインの実行は、既存のアプローチよりも最大で12500倍高速です。 また、人気のあるStarCraft Multi-Agent Challengeのベクトル化、単純化されたバージョンであるSMAXを紹介し、ベンチマークする。
  論文  参考訳（メタデータ） (2023-11-16T18:58:43Z)
• QDax: A Library for Quality-Diversity and Population-based Algorithms with Hardware Acceleration [3.8494302715990845]
  QDaxはオープンソースのライブラリで、JaxのQuality-Diversity (QD)最適化アルゴリズムの合理化とモジュラーAPIを備えている。 このライブラリは、ブラックボックス最適化から継続的制御まで、最適化目的の汎用ツールとして機能する。
  論文  参考訳（メタデータ） (2023-08-07T15:29:44Z)
• SequeL: A Continual Learning Library in PyTorch and JAX [50.33956216274694]
  SequeLは継続学習のためのライブラリで、PyTorchとJAXフレームワークの両方をサポートする。 それは、正規化ベースのアプローチ、リプレイベースのアプローチ、ハイブリッドアプローチを含む、幅広い連続学習アルゴリズムのための統一インターフェースを提供する。 私たちはSequeLをオープンソースライブラリとしてリリースし、研究者や開発者が自身の目的で簡単にライブラリを実験し拡張することができます。
  論文  参考訳（メタデータ） (2023-04-21T10:00:22Z)
• GRecX: An Efficient and Unified Benchmark for GNN-based Recommendation [55.55523188090938]
  我々はGNNベースのレコメンデーションモデルのベンチマークを行うためのオープンソースのフレームワークであるGRecXを紹介する。 GRecXは、GNNベースのレコメンデーションベンチマークを構築するためのコアライブラリと、人気のあるGNNベースのレコメンデーションモデルの実装で構成されている。 我々はGRecXを用いて実験を行い、実験の結果、GRecXはGNNベースの推薦基準を効率的かつ統一的にトレーニングし、ベンチマークすることができることを示した。
  論文  参考訳（メタデータ） (2021-11-19T17:45:46Z)
• Torch-Struct: Deep Structured Prediction Library [138.5262350501951]
  本稿では,構造化予測ライブラリTorch-Structを紹介する。 Torch-Structには,シンプルで柔軟な分散ベースのAPIを通じてアクセスされる,確率的構造の広範なコレクションが含まれている。
  論文  参考訳（メタデータ） (2020-02-03T16:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。