論文の概要: Tensor Relational Algebra for Machine Learning System Design

• arxiv url: http://arxiv.org/abs/2009.00524v3
• Date: Mon, 9 Aug 2021 08:35:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 02:05:11.962053
• Title: Tensor Relational Algebra for Machine Learning System Design
• Title（参考訳）: 機械学習システム設計のためのテンソル関係代数
• Authors: Binhang Yuan and Dimitrije Jankov and Jia Zou and Yuxin Tang and Daniel Bourgeois and Chris Jermaine
• Abstract要約: 本稿では、リレーショナルテンソル代数(TRA)と呼ばれる別の実装抽象化を提案する。 TRA は、リレーショナル代数に基づく集合基底代数である。 我々の実証研究は、最適化されたTRAベースのバックエンドが、分散クラスタでMLを実行する際の選択肢を大幅に上回っていることを示している。
• 参考スコア（独自算出の注目度）: 7.764107702934616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the question: what is the abstraction that should be implemented by the computational engine of a machine learning system? Current machine learning systems typically push whole tensors through a series of compute kernels such as matrix multiplications or activation functions, where each kernel runs on an AI accelerator (ASIC) such as a GPU. This implementation abstraction provides little built-in support for ML systems to scale past a single machine, or for handling large models with matrices or tensors that do not easily fit into the RAM of an ASIC. In this paper, we present an alternative implementation abstraction called the tensor relational algebra (TRA). The TRA is a set-based algebra based on the relational algebra. Expressions in the TRA operate over binary tensor relations, where keys are multi-dimensional arrays and values are tensors. The TRA is easily executed with high efficiency in a parallel or distributed environment, and amenable to automatic optimization. Our empirical study shows that the optimized TRA-based back-end can significantly outperform alternatives for running ML workflows in distributed clusters.
• Abstract（参考訳）: 機械学習システムの計算エンジンによって実装されるべき抽象化とは何か? 現在の機械学習システムは一般に、マトリックス乗算やアクティベーション関数などの一連の計算カーネルを通じてテンソル全体をプッシュし、各カーネルはGPUのようなAIアクセラレータ(ASIC)上で実行される。 この実装抽象化は、単一のマシンを過ぎてスケールするMLシステムや、ASICのRAMに簡単に収まらない行列やテンソルで大きなモデルを扱うための組込みサポートをほとんど提供しない。 本稿では、テンソルリレーショナル代数(TRA)と呼ばれる別の実装抽象化を提案する。 tra は関係代数に基づく集合ベースの代数である。 TRAの表現は、鍵が多次元配列であり、値がテンソルである二項テンソル関係で動作する。 TRAは、並列または分散環境で高い効率で容易に実行でき、自動最適化が可能である。 私たちの実証研究は、最適化されたTRAベースのバックエンドが、分散クラスタでMLワークフローを実行する際の選択肢を大幅に上回っていることを示している。

関連論文リスト

• Compressing Structured Tensor Algebra [1.2624532490634646]
  DASTACはテンソルが捕捉した高レベル構造を低レベルコード生成に伝達するフレームワークである。 本手法は,最適なデータレイアウトを自動的に検出することでメモリフットプリントを削減する。 DASTACは、最先端のスパーステンソルコンパイラであるTACOと、最先端の構造化テンソル代数コンパイラであるStructTensorに対して、1～2桁の高速化を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:25:17Z)
• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• CoLA: Exploiting Compositional Structure for Automatic and Efficient Numerical Linear Algebra [62.37017125812101]
  機械学習における大規模線形代数問題に対して, CoLA という, 単純だが汎用的なフレームワークを提案する。 線形演算子抽象と合成ディスパッチルールを組み合わせることで、CoLAはメモリと実行時の効率的な数値アルゴリズムを自動的に構築する。 偏微分方程式,ガウス過程,同変モデル構築,教師なし学習など,幅広い応用で有効性を示す。
  論文  参考訳（メタデータ） (2023-09-06T14:59:38Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• Performance and Energy Consumption of Parallel Machine Learning Algorithms [0.0]
  機械学習モデルは、様々な現実世界のアプリケーションで顕著な成功を収めた。 機械学習のモデルトレーニングには、大規模データセットと複数のイテレーションが必要である。 トレーニングアルゴリズムの並列化は、トレーニングのプロセスを高速化するための一般的な戦略である。
  論文  参考訳（メタデータ） (2023-05-01T13:04:39Z)
• TensorIR: An Abstraction for Automatic Tensorized Program Optimization [22.812702519665617]
  本稿では,テンソル計算プリミティブでプログラムを最適化するコンパイラIRを提案する。 コンパイルの上にエンドツーエンドのフレームワークを構築し、与えられたテンソル計算プリミティブに対してディープラーニングモデルを自動的に最適化します。
  論文  参考訳（メタデータ） (2022-07-09T16:28:57Z)
• Benchmarking the Linear Algebra Awareness of TensorFlow and PyTorch [1.1470070927586016]
  我々は、TFとPyTの線形代数最適化能力を調べるためのベンチマークを開発する。 本研究では、TFおよびPyTにおける線形代数計算に焦点を当てる。
  論文  参考訳（メタデータ） (2022-02-20T18:51:00Z)
• Spectral Learning on Matrices and Tensors [74.88243719463053]
  テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。 また,効率的なテンソル分解法を設計するための計算手法についても概説する。
  論文  参考訳（メタデータ） (2020-04-16T22:53:00Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)
• Sketching Transformed Matrices with Applications to Natural Language Processing [76.6222695417524]
  本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。 提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T03:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。