論文の概要: MCTensor: A High-Precision Deep Learning Library with Multi-Component
Floating-Point
- arxiv url: http://arxiv.org/abs/2207.08867v1
- Date: Mon, 18 Jul 2022 18:26:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 14:33:03.098439
- Title: MCTensor: A High-Precision Deep Learning Library with Multi-Component
Floating-Point
- Title(参考訳): mctensor:マルチコンポーネント浮動小数点を持つ高精度ディープラーニングライブラリ
- Authors: Tao Yu, Went Guo, Jianan Canal Li, Tiancheng Yuan, Christopher De Sa
- Abstract要約: PyTorchをベースとしたライブラリであるMCTensorを導入する。
提案アルゴリズムは高精度かつ最適化されたPyTorch浮動小数点演算の恩恵を受ける。
我々は、一連のタスクに対してPyTorchネイティブ算術に対するMCTensor演算を評価し、float16におけるMCTensorを用いたモデルがfloat32またはfloat64精度でPyTorchモデルに適合または優れることを示した。
- 参考スコア(独自算出の注目度): 30.563108553430354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce MCTensor, a library based on PyTorch for
providing general-purpose and high-precision arithmetic for DL training.
MCTensor is used in the same way as PyTorch Tensor: we implement multiple
basic, matrix-level computation operators and NN modules for MCTensor with
identical PyTorch interface. Our algorithms achieve high precision computation
and also benefits from heavily-optimized PyTorch floating-point arithmetic. We
evaluate MCTensor arithmetic against PyTorch native arithmetic for a series of
tasks, where models using MCTensor in float16 would match or outperform the
PyTorch model with float32 or float64 precision.
- Abstract(参考訳): 本稿では,汎用・高精度のdl学習演算を実現するためのpytorchに基づくライブラリであるmctensorを提案する。
MCTensor は PyTorch Tensor と同じ方法で使われ、PyTorch と同一の PyTorch インタフェースを持つ MCTensor の基本的な行列レベルの演算演算子と NN モジュールを実装している。
提案アルゴリズムは高精度な計算を実現するとともに,高度に最適化されたPyTorch浮動小数点演算の恩恵を受ける。
我々は、一連のタスクに対してPyTorchネイティブ算術に対するMCTensor演算を評価し、float16におけるMCTensorを用いたモデルがfloat32またはfloat64精度でPyTorchモデルに適合または優れることを示した。
関連論文リスト
- TensorKrowch: Smooth integration of tensor networks in machine learning [68.8204255655161]
PyTorch上に構築されたオープンソースのPythonライブラリであるKrowchを紹介します。
ユーザは任意のテンソルネットワークを構築してトレーニングし、より複雑なディープラーニングモデルにレイヤとして統合することができる。
論文 参考訳(メタデータ) (2023-06-14T15:55:19Z) - PyTorch Hyperparameter Tuning - A Tutorial for spotPython [0.20305676256390928]
このチュートリアルには、実験を実行し、ハイパーパラメータをチューニングするためのPythonライブラリであるRay Tuneとの簡単な比較が含まれている。
spotPythonはRay Tuneよりも柔軟で透明でありながら、同じような、あるいはさらに優れた結果が得られることを示しています。
論文 参考訳(メタデータ) (2023-05-19T17:47:50Z) - PyVBMC: Efficient Bayesian inference in Python [8.924669503280333]
PyVBMCは、後方およびモデル推論のための変分ベイズモンテカルロ (VBMC) アルゴリズムのPython実装である。
VBMCは、モデル評価が軽度から極端に高価である場合に、効率的なパラメータ推定とモデル評価のために設計されている。
論文 参考訳(メタデータ) (2023-03-16T17:37:22Z) - TorchNTK: A Library for Calculation of Neural Tangent Kernels of PyTorch
Models [16.30276204466139]
我々は、PyTorchフレームワークでニューラルネットワークモデルの実験的ニューラルネットワークカーネル(NTK)を計算するためのピソンライブラリであるTorchNTKを紹介する。
このライブラリの特徴は、ユーザをレイヤワイドNTKコンポーネントに公開し、階層ワイドの計算がよりメモリ効率が高いことを示すことである。
論文 参考訳(メタデータ) (2022-05-24T21:27:58Z) - PyGOD: A Python Library for Graph Outlier Detection [71.8385116214495]
PyGODは、グラフデータ上の外れ値を検出するオープンソースライブラリである。
コードの信頼性と保守性を向上するためのベストプラクティスを備えている。
論文 参考訳(メタデータ) (2022-04-26T06:15:21Z) - PyHHMM: A Python Library for Heterogeneous Hidden Markov Models [63.01207205641885]
PyHHMM は Heterogeneous-Hidden Markov Models (HHMM) のオブジェクト指向Python実装である。
PyHHMMは、異種観測モデル、データ推論の欠如、異なるモデルの順序選択基準、半教師付きトレーニングなど、同様のフレームワークではサポートされない機能を強調している。
PyHHMMは、numpy、scipy、scikit-learn、およびシーボーンPythonパッケージに依存しており、Apache-2.0ライセンスの下で配布されている。
論文 参考訳(メタデータ) (2022-01-12T07:32:36Z) - OpTorch: Optimized deep learning architectures for resource limited
environments [1.5736899098702972]
時間や記憶など多面的に最適化された深層学習パイプラインを提案します。
OpTorchは、ニューラルネットワークトレーニングの既存の実装の弱点を克服するために設計された機械学習ライブラリである。
論文 参考訳(メタデータ) (2021-05-03T03:58:57Z) - I-BERT: Integer-only BERT Quantization [78.43819756382103]
トランスフォーマーモデルのための新しい量子化手法であるI-BERTを提案する。
I-BERTは浮動小数点演算なしでエンドツーエンドの整数のみのBERT推論を実行する。
いずれの場合も,I-BERTは全精度ベースラインと同等(かつ若干高い)精度が得られた。
論文 参考訳(メタデータ) (2021-01-05T02:42:58Z) - MOGPTK: The Multi-Output Gaussian Process Toolkit [71.08576457371433]
ガウス過程(GP)を用いたマルチチャネルデータモデリングのためのPythonパッケージMOGPTKを提案する。
このツールキットの目的は、研究者、データサイエンティスト、実践者にもMOGP(multi-output GP)モデルを利用できるようにすることである。
論文 参考訳(メタデータ) (2020-02-09T23:34:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。