論文の概要: KD-Lib: A PyTorch library for Knowledge Distillation, Pruning and Quantization

• arxiv url: http://arxiv.org/abs/2011.14691v1
• Date: Mon, 30 Nov 2020 11:11:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 03:11:16.272571
• Title: KD-Lib: A PyTorch library for Knowledge Distillation, Pruning and Quantization
• Title（参考訳）: KD-Lib: 知識蒸留・処理・量子化のためのPyTorchライブラリ
• Authors: Het Shah, Avishree Khare, Neelay Shah, Khizir Siddiqui
• Abstract要約: 我々はオープンソースのPyTorchベースのライブラリであるKD-Libを紹介する。 これには、複数の抽象化レイヤの上に3つのファミリーのアルゴリズムの、最先端のモジュラー実装が含まれています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, the growing size of neural networks has led to a vast amount of research concerning compression techniques to mitigate the drawbacks of such large sizes. Most of these research works can be categorized into three broad families : Knowledge Distillation, Pruning, and Quantization. While there has been steady research in this domain, adoption and commercial usage of the proposed techniques has not quite progressed at the rate. We present KD-Lib, an open-source PyTorch based library, which contains state-of-the-art modular implementations of algorithms from the three families on top of multiple abstraction layers. KD-Lib is model and algorithm-agnostic, with extended support for hyperparameter tuning using Optuna and Tensorboard for logging and monitoring. The library can be found at - https://github.com/SforAiDl/KD_Lib.
• Abstract（参考訳）: 近年,ニューラルネットワークの規模が大きくなるにつれ,圧縮技術に関する研究が盛んに行われ,大規模化の欠点が軽減されている。 これらの研究の大部分は、知識蒸留、刈り取り、量子化の3つの広いファミリーに分類できる。 この領域では着実に研究が進んでいるが、提案手法の採用と商業利用は、そのペースではまだ進んでいない。 我々は、オープンソースのPyTorchベースのライブラリであるKD-Libを紹介した。 KD-Libはモデルとアルゴリズムに依存しないもので、ロギングとモニタリングにOptunaとTensorboardを使用したハイパーパラメータチューニングの拡張サポートがある。 ライブラリは https://github.com/SforAiDl/KD_Lib で見ることができる。

関連論文リスト

• pyvene: A Library for Understanding and Improving PyTorch Models via Interventions [79.72930339711478]
  $textbfpyvene$は、さまざまなPyTorchモジュールに対するカスタマイズ可能な介入をサポートするオープンソースライブラリである。 私たちは、$textbfpyvene$が、ニューラルモデルへの介入を実行し、他のモデルとインターバルされたモデルを共有するための統一されたフレームワークを提供する方法を示します。
  論文  参考訳（メタデータ） (2024-03-12T16:46:54Z)
• LibAUC: A Deep Learning Library for X-Risk Optimization [43.32145407575245]
  本稿では,LibAUC という賞を受賞したディープラーニングライブラリについて紹介する。 LibAUCは、Xリスクと呼ばれるリスク関数のファミリーを最適化するための最先端のアルゴリズムを実装している。
  論文  参考訳（メタデータ） (2023-06-05T17:43:46Z)
• SequeL: A Continual Learning Library in PyTorch and JAX [50.33956216274694]
  SequeLは継続学習のためのライブラリで、PyTorchとJAXフレームワークの両方をサポートする。 それは、正規化ベースのアプローチ、リプレイベースのアプローチ、ハイブリッドアプローチを含む、幅広い連続学習アルゴリズムのための統一インターフェースを提供する。 私たちはSequeLをオープンソースライブラリとしてリリースし、研究者や開発者が自身の目的で簡単にライブラリを実験し拡張することができます。
  論文  参考訳（メタデータ） (2023-04-21T10:00:22Z)
• Trieste: Efficiently Exploring The Depths of Black-box Functions with TensorFlow [50.691232400959656]
  Triesteは、ベイジアン最適化とアクティブラーニングのためのオープンソースのPythonパッケージである。 我々のライブラリは、シーケンシャルな意思決定ループ内で人気のあるモデルのプラグアンドプレイを可能にする。
  論文  参考訳（メタデータ） (2023-02-16T17:21:49Z)
• TorchNTK: A Library for Calculation of Neural Tangent Kernels of PyTorch Models [16.30276204466139]
  我々は、PyTorchフレームワークでニューラルネットワークモデルの実験的ニューラルネットワークカーネル(NTK)を計算するためのピソンライブラリであるTorchNTKを紹介する。 このライブラリの特徴は、ユーザをレイヤワイドNTKコンポーネントに公開し、階層ワイドの計算がよりメモリ効率が高いことを示すことである。
  論文  参考訳（メタデータ） (2022-05-24T21:27:58Z)
• PyGOD: A Python Library for Graph Outlier Detection [56.33769221859135]
  PyGODは、グラフデータの外れ値を検出するオープンソースライブラリである。 外れ値検出のための主要なグラフベースのメソッドを幅広くサポートしています。 PyGODはBSD 2-Clauseライセンスの下でhttps://pygod.orgとPython Package Index (PyPI)でリリースされている。
  論文  参考訳（メタデータ） (2022-04-26T06:15:21Z)
• ADAPT : Awesome Domain Adaptation Python Toolbox [5.932280316886339]
  ADAPTはオープンソースのpythonライブラリで、いくつかのドメイン適応メソッドの実装を提供する。 このライブラリは、Scikit-learn 推定オブジェクト(適合および予測メソッドを実装するオブジェクト)とtensorflowモデルに適している。
  論文  参考訳（メタデータ） (2021-07-07T07:20:21Z)
• Tonic: A Deep Reinforcement Learning Library for Fast Prototyping and Benchmarking [4.721069729610892]
  ディープラーニングは、ここ数年で急速に成長している機械学習の分野のひとつであり、研究を支援するために多くのライブラリがオープンソース化されている。 本稿では、PythonライブラリであるTonicを紹介し、研究者が新しいアイデアを迅速に実装し、その重要性を測ることを可能にする。
  論文  参考訳（メタデータ） (2020-11-15T14:10:37Z)
• Captum: A unified and generic model interpretability library for PyTorch [49.72749684393332]
  我々は,PyTorch用の新しい,統一されたオープンソースモデル解釈可能性ライブラリを紹介する。 このライブラリには、多くの勾配と摂動に基づく属性アルゴリズムの汎用的な実装が含まれている。 分類モデルと非分類モデルの両方に使用できる。
  論文  参考訳（メタデータ） (2020-09-16T18:57:57Z)
• Picasso: A Sparse Learning Library for High Dimensional Data Analysis in R and Python [77.33905890197269]
  本稿では,様々なスパース学習問題に対して,経路座標を統一的に最適化する新しいライブラリについて述べる。 ライブラリはR++でコード化されており、ユーザフレンドリーなスパース実験を行っている。
  論文  参考訳（メタデータ） (2020-06-27T02:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。