論文の概要: A Static Analyzer for Detecting Tensor Shape Errors in Deep Neural Network Training Code

• arxiv url: http://arxiv.org/abs/2112.09037v1
• Date: Thu, 16 Dec 2021 17:27:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 17:50:05.827465
• Title: A Static Analyzer for Detecting Tensor Shape Errors in Deep Neural Network Training Code
• Title（参考訳）: 深層ニューラルネットワークトレーニングコードにおけるテンソル形状誤り検出のための静的アナライザ
• Authors: Ho Young Jhoo, Sehoon Kim, Woosung Song, Kyuyeon Park, DongKwon Lee, Kwangkeun Yi
• Abstract要約: PyTeaは、PyTorchコードのテンソル形状エラーを検出する自動静的アナライザである。 私たちはPyTeaを公式PyTorchリポジトリのプロジェクトやStackOverflowで疑問視されているテンソルエラーコードに対してテストしました。
• 参考スコア（独自算出の注目度）: 2.6587175537360137
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present an automatic static analyzer PyTea that detects tensor-shape errors in PyTorch code. The tensor-shape error is critical in the deep neural net code; much of the training cost and intermediate results are to be lost once a tensor shape mismatch occurs in the midst of the training phase. Given the input PyTorch source, PyTea statically traces every possible execution path, collects tensor shape constraints required by the tensor operation sequence of the path, and decides if the constraints are unsatisfiable (hence a shape error can occur). PyTea's scalability and precision hinges on the characteristics of real-world PyTorch applications: the number of execution paths after PyTea's conservative pruning rarely explodes and loops are simple enough to be circumscribed by our symbolic abstraction. We tested PyTea against the projects in the official PyTorch repository and some tensor-error code questioned in the StackOverflow. PyTea successfully detects tensor shape errors in these codes, each within a few seconds.
• Abstract（参考訳）: PyTorch符号におけるテンソル形状誤差を検出する静的解析器PyTeaを提案する。 深部ニューラルネットコードではテンソル形状誤差が重要であり、トレーニングフェーズ中にテンソル形状ミスマッチが発生した場合、トレーニングコストと中間結果の大部分が失われる。 入力されたPyTorchソースが与えられた場合、PyTeaは任意の実行経路を静的にトレースし、パスのテンソル演算シーケンスで要求されるテンソル形状制約を収集し、制約が満足できないかどうかを判断する(形状エラーが発生する)。 PyTeaの保守的なプルーニング後の実行パスの数は滅多に爆発せず、ループは私たちの象徴的な抽象化によって回避できるほど単純である。 私たちはPyTeaを公式PyTorchリポジトリのプロジェクトやStackOverflowで疑問視されているテンソルエラーコードに対してテストしました。 PyTeaはコード中のテンソル形状の誤差を数秒で検出する。

関連論文リスト

• FTuner: A Fast Dynamic Shape Tensors Program Auto-Tuner for Deep Learning Compilers [6.194917248699324]
  本稿では,FTunerと呼ばれるディープラーニングコンパイラの新しい手法を提案する。 実験によると、FTunerはベンダーのライブラリに匹敵する演算子とエンドツーエンドのパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2024-07-31T08:05:33Z)
• depyf: Open the Opaque Box of PyTorch Compiler for Machine Learning Researchers [92.13613958373628]
  textttdepyfは、PyTorchコンパイラの内部動作を復号化するためのツールである。 textttdepyfは、PyTorchが生成したバイトコードを等価なソースコードに逆コンパイルする。
  論文  参考訳（メタデータ） (2024-03-14T16:17:14Z)
• Symbolically integrating tensor networks over various random tensors by the second version of Python RTNI [0.5439020425818999]
  我々は、Haar分散ユニタリ行列上のテンソルネットワークを象徴的に統合するRTNIのPythonバージョンをアップグレードしている。 現在、PyRTNI2 はハール分布行列と実かつ複素正規ガウステンソルも扱うことができる。 本稿では,プログラムの背後にある数学を説明し,それを用いてどのようなテンソルネットワーク計算を行うことができるかを示す。
  論文  参考訳（メタデータ） (2023-09-03T13:14:46Z)
• Near-Linear Time and Fixed-Parameter Tractable Algorithms for Tensor Decompositions [51.19236668224547]
  テンソルの低階近似について検討し,テンソルトレインとタッカー分解に着目した。 テンソル列車の分解には、小さなビクリテリアランクを持つビクリテリア$(1 + eps)$-approximationアルゴリズムと、O(q cdot nnz(A))$ランニングタイムを与える。 さらに、任意のグラフを持つテンソルネットワークにアルゴリズムを拡張します。
  論文  参考訳（メタデータ） (2022-07-15T11:55:09Z)
• tntorch: Tensor Network Learning with PyTorch [26.544996974928583]
  tntorchは、複数の分解をサポートするテンソル学習フレームワークである。 微分可能なテンソル代数、ランクトランケーション、クロス近似、バッチ処理、包括的なテンソル算術などを実装している。
  論文  参考訳（メタデータ） (2022-06-22T14:19:15Z)
• TensorLy-Quantum: Quantum Machine Learning with Tensor Methods [67.29221827422164]
  PyTorch APIを採用した量子回路シミュレーションのためのPythonライブラリを作成します。 Ly-Quantumは、単一のGPU上で数百のキュービット、複数のGPU上で数千のキュービットにスケールすることができる。
  論文  参考訳（メタデータ） (2021-12-19T19:26:17Z)
• Local tensor-network codes [0.0]
  表面コードやカラーコードなど,トポロジ的なコードを単純なテンソルネットワークコードとして記述する方法を示す。 ホログラム符号の場合,本手法は効率的であることを示す。
  論文  参考訳（メタデータ） (2021-09-24T14:38:06Z)
• Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
  本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。 提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
  論文  参考訳（メタデータ） (2021-05-29T08:39:57Z)
• Multi-version Tensor Completion for Time-delayed Spatio-temporal Data [50.762087239885936]
  実世界の時間データは、様々なデータ読み込み遅延のために不完全または不正確な場合が多い。 経時的に更新を予測するための低ランクテンソルモデルを提案する。 最良基準法に比べて最大27.2%低いルート平均二乗誤差が得られる。
  論文  参考訳（メタデータ） (2021-05-11T19:55:56Z)
• Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
  過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。 以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-22T00:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。