論文の概要: TorchNTK: A Library for Calculation of Neural Tangent Kernels of PyTorch Models

• arxiv url: http://arxiv.org/abs/2205.12372v1
• Date: Tue, 24 May 2022 21:27:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-29 02:13:17.594715
• Title: TorchNTK: A Library for Calculation of Neural Tangent Kernels of PyTorch Models
• Title（参考訳）: torchntk:pytorchモデルの神経接核の計算のためのライブラリ
• Authors: Andrew Engel, Zhichao Wang, Anand D. Sarwate, Sutanay Choudhury, Tony Chiang
• Abstract要約: 我々は、PyTorchフレームワークでニューラルネットワークモデルの実験的ニューラルネットワークカーネル(NTK)を計算するためのピソンライブラリであるTorchNTKを紹介する。 このライブラリの特徴は、ユーザをレイヤワイドNTKコンポーネントに公開し、階層ワイドの計算がよりメモリ効率が高いことを示すことである。
• 参考スコア（独自算出の注目度）: 16.30276204466139
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce torchNTK, a python library to calculate the empirical neural tangent kernel (NTK) of neural network models in the PyTorch framework. We provide an efficient method to calculate the NTK of multilayer perceptrons. We compare the explicit differentiation implementation against autodifferentiation implementations, which have the benefit of extending the utility of the library to any architecture supported by PyTorch, such as convolutional networks. A feature of the library is that we expose the user to layerwise NTK components, and show that in some regimes a layerwise calculation is more memory efficient. We conduct preliminary experiments to demonstrate use cases for the software and probe the NTK.
• Abstract（参考訳）: 我々は、PyTorchフレームワークでニューラルネットワークモデルの実験的ニューラルネットワークカーネル(NTK)を計算するためのピソンライブラリであるTorchNTKを紹介する。 マルチ層パーセプトロンのNTKを効率的に計算する方法を提供する。 我々は,PyTorchがサポートする任意のアーキテクチャ(畳み込みネットワークなど)にライブラリの有用性を拡張できる,自動微分実装に対する明示的な差別化実装を比較した。 このライブラリの特徴は、ユーザをレイヤワイドNTKコンポーネントに公開し、階層ワイドの計算がよりメモリ効率が高いことを示すことである。 我々は,ソフトウェアの利用事例を実証し,NTKを探索するための予備実験を行う。

関連論文リスト

• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• TSFEDL: A Python Library for Time Series Spatio-Temporal Feature Extraction and Prediction using Deep Learning (with Appendices on Detailed Network Architectures and Experimental Cases of Study) [9.445070013080601]
  TSFEライブラリは、AGPLv3ライセンスの下でflow+KerasとPyTorchモジュールのセット上に構築されている。 この提案に含まれるアーキテクチャのパフォーマンス検証は、このPythonパッケージの有用性を確認している。
  論文  参考訳（メタデータ） (2022-06-07T10:58:33Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• TorchRadon: Fast Differentiable Routines for Computed Tomography [0.0]
  TorchRadonライブラリは、ディープラーニングとモデルベースのアプローチを組み合わせるために、CT問題に取り組む研究者を支援するように設計されている。 既存のAstra Toolboxと比較すると、TorchRadonは125倍高速である。 そのスピードとGPUサポートのため、TorchRadonは反復アルゴリズムの実装の高速バックエンドとしても効果的に使用できる。
  論文  参考訳（メタデータ） (2020-09-29T09:20:22Z)
• Captum: A unified and generic model interpretability library for PyTorch [49.72749684393332]
  我々は,PyTorch用の新しい,統一されたオープンソースモデル解釈可能性ライブラリを紹介する。 このライブラリには、多くの勾配と摂動に基づく属性アルゴリズムの汎用的な実装が含まれている。 分類モデルと非分類モデルの両方に使用できる。
  論文  参考訳（メタデータ） (2020-09-16T18:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。