論文の概要: MCTensor: A High-Precision Deep Learning Library with Multi-Component Floating-Point

• arxiv url: http://arxiv.org/abs/2207.08867v1
• Date: Mon, 18 Jul 2022 18:26:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 14:33:03.098439
• Title: MCTensor: A High-Precision Deep Learning Library with Multi-Component Floating-Point
• Title（参考訳）: mctensor:マルチコンポーネント浮動小数点を持つ高精度ディープラーニングライブラリ
• Authors: Tao Yu, Went Guo, Jianan Canal Li, Tiancheng Yuan, Christopher De Sa
• Abstract要約: PyTorchをベースとしたライブラリであるMCTensorを導入する。 提案アルゴリズムは高精度かつ最適化されたPyTorch浮動小数点演算の恩恵を受ける。 我々は、一連のタスクに対してPyTorchネイティブ算術に対するMCTensor演算を評価し、float16におけるMCTensorを用いたモデルがfloat32またはfloat64精度でPyTorchモデルに適合または優れることを示した。
• 参考スコア（独自算出の注目度）: 30.563108553430354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce MCTensor, a library based on PyTorch for providing general-purpose and high-precision arithmetic for DL training. MCTensor is used in the same way as PyTorch Tensor: we implement multiple basic, matrix-level computation operators and NN modules for MCTensor with identical PyTorch interface. Our algorithms achieve high precision computation and also benefits from heavily-optimized PyTorch floating-point arithmetic. We evaluate MCTensor arithmetic against PyTorch native arithmetic for a series of tasks, where models using MCTensor in float16 would match or outperform the PyTorch model with float32 or float64 precision.
• Abstract（参考訳）: 本稿では,汎用・高精度のdl学習演算を実現するためのpytorchに基づくライブラリであるmctensorを提案する。 MCTensor は PyTorch Tensor と同じ方法で使われ、PyTorch と同一の PyTorch インタフェースを持つ MCTensor の基本的な行列レベルの演算演算子と NN モジュールを実装している。 提案アルゴリズムは高精度な計算を実現するとともに,高度に最適化されたPyTorch浮動小数点演算の恩恵を受ける。 我々は、一連のタスクに対してPyTorchネイティブ算術に対するMCTensor演算を評価し、float16におけるMCTensorを用いたモデルがfloat32またはfloat64精度でPyTorchモデルに適合または優れることを示した。

関連論文リスト

• PyMarian: Fast Neural Machine Translation and Evaluation in Python [11.291502854418098]
  シーケンス・ツー・シーケンス・モデルのための C++ ベースのトレーニングおよび推論ツールキットである Marian NMT に Python インタフェースを記述した。 このインターフェースにより、Marianでトレーニングされたモデルが、Pythonで利用可能なリッチで幅広いツールに接続できるようになる。
  論文  参考訳（メタデータ） (2024-08-15T01:41:21Z)
• Nerva: a Truly Sparse Implementation of Neural Networks [16.29955529463831]
  Nervaは、C++で開発中の高速ニューラルネットワークライブラリである。 IntelのMath Kernel Libraryのスパースマトリックス操作を使用することで、スパシティをサポートする。
  論文  参考訳（メタデータ） (2024-07-24T17:13:31Z)
• iSpLib: A Library for Accelerating Graph Neural Networks using Auto-tuned Sparse Operations [1.3030767447016454]
  iSpLibは、自動調整されたスパース操作を備えたPyTorchベースのC++ライブラリである。 iSpLibは、CPU上のPyTorch 2.1.0とPyTorch Geometric 2.4.0と同等のPyTorch 2.1.0と比較して、最大27倍のトレーニングスピードアップが得られることを示した。
  論文  参考訳（メタデータ） (2024-03-21T21:56:44Z)
• PyHopper -- Hyperparameter optimization [51.40201315676902]
  我々は機械学習研究者のためのブラックボックス最適化プラットフォームであるPyHopperを紹介する。 PyHopperの目標は、最小限の労力で既存のコードと統合し、最小限のマニュアル監視で最適化プロセスを実行することである。 単純さを主テーマとして、PyHopperは単一のロバストなマルコフチェーンモンテカルロ最適化アルゴリズムを利用している。
  論文  参考訳（メタデータ） (2022-10-10T14:35:01Z)
• TorchNTK: A Library for Calculation of Neural Tangent Kernels of PyTorch Models [16.30276204466139]
  我々は、PyTorchフレームワークでニューラルネットワークモデルの実験的ニューラルネットワークカーネル(NTK)を計算するためのピソンライブラリであるTorchNTKを紹介する。 このライブラリの特徴は、ユーザをレイヤワイドNTKコンポーネントに公開し、階層ワイドの計算がよりメモリ効率が高いことを示すことである。
  論文  参考訳（メタデータ） (2022-05-24T21:27:58Z)
• PyGOD: A Python Library for Graph Outlier Detection [56.33769221859135]
  PyGODは、グラフデータの外れ値を検出するオープンソースライブラリである。 外れ値検出のための主要なグラフベースのメソッドを幅広くサポートしています。 PyGODはBSD 2-Clauseライセンスの下でhttps://pygod.orgとPython Package Index (PyPI)でリリースされている。
  論文  参考訳（メタデータ） (2022-04-26T06:15:21Z)
• PyHHMM: A Python Library for Heterogeneous Hidden Markov Models [63.01207205641885]
  PyHHMM は Heterogeneous-Hidden Markov Models (HHMM) のオブジェクト指向Python実装である。 PyHHMMは、異種観測モデル、データ推論の欠如、異なるモデルの順序選択基準、半教師付きトレーニングなど、同様のフレームワークではサポートされない機能を強調している。 PyHHMMは、numpy、scipy、scikit-learn、およびシーボーンPythonパッケージに依存しており、Apache-2.0ライセンスの下で配布されている。
  論文  参考訳（メタデータ） (2022-01-12T07:32:36Z)
• I-BERT: Integer-only BERT Quantization [78.43819756382103]
  トランスフォーマーモデルのための新しい量子化手法であるI-BERTを提案する。 I-BERTは浮動小数点演算なしでエンドツーエンドの整数のみのBERT推論を実行する。 いずれの場合も,I-BERTは全精度ベースラインと同等(かつ若干高い)精度が得られた。
  論文  参考訳（メタデータ） (2021-01-05T02:42:58Z)
• MOGPTK: The Multi-Output Gaussian Process Toolkit [71.08576457371433]
  ガウス過程(GP)を用いたマルチチャネルデータモデリングのためのPythonパッケージMOGPTKを提案する。 このツールキットの目的は、研究者、データサイエンティスト、実践者にもMOGP(multi-output GP)モデルを利用できるようにすることである。
  論文  参考訳（メタデータ） (2020-02-09T23:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。