論文の概要: Share the Tensor Tea: How Databases can Leverage the Machine Learning
Ecosystem
- arxiv url: http://arxiv.org/abs/2209.04579v1
- Date: Sat, 10 Sep 2022 03:10:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 02:53:31.565147
- Title: Share the Tensor Tea: How Databases can Leverage the Machine Learning
Ecosystem
- Title(参考訳): テンソルティーを共有する: データベースが機械学習エコシステムをどのように活用するか
- Authors: Yuki Asada, Victor Fu, Apurva Gandhi, Advitya Gemawat, Lihao Zhang,
Dong He, Vivek Gupta, Ehi Nosakhare, Dalitso Banda, Rathijit Sen, Matteo
Interlandi
- Abstract要約: 演算子を自動的にテンソルプログラムにコンパイルするクエリプロセッサを実演する。
PyTorchのようなテンソルランタイムを活用することで、TQPはMLツールとの統合が可能になる。
パフォーマンスは、特別なCPUやGPUクエリプロセッサと同等で、多くの場合は同等である。
- 参考スコア(独自算出の注目度): 11.606346458417969
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We demonstrate Tensor Query Processor (TQP): a query processor that
automatically compiles relational operators into tensor programs. By leveraging
tensor runtimes such as PyTorch, TQP is able to: (1) integrate with ML tools
(e.g., Pandas for data ingestion, Tensorboard for visualization); (2) target
different hardware (e.g., CPU, GPU) and software (e.g., browser) backends; and
(3) end-to-end accelerate queries containing both relational and ML operators.
TQP is generic enough to support the TPC-H benchmark, and it provides
performance that is comparable to, and often better than, that of specialized
CPU and GPU query processors.
- Abstract(参考訳): テンソルクエリプロセッサ(TQP: Tensor Query Processor)は,関係演算子を自動的にテンソルプログラムにコンパイルするクエリプロセッサである。
PyTorchのようなテンソルランタイムを利用することで、TQPは、(1)MLツール(例えば、データ取り込み用のパンダ、視覚化用のテンソルボード)との統合、(2)異なるハードウェア(例えば、CPU、GPU)とソフトウェア(例えば、ブラウザ)のバックエンドをターゲットにすること、(3)リレーショナルとMLオペレータの両方を含むエンドツーエンドのアクセラレーションクエリを統合することができる。
TQPはTPC-Hベンチマークをサポートするのに十分汎用的であり、特別なCPUやGPUクエリプロセッサに匹敵するパフォーマンスを提供する。
関連論文リスト
- TensorBank: Tensor Lakehouse for Foundation Model Training [1.8811254972035676]
基礎モデルトレーニングのための高次元データのストリーミングと保存は、自然言語を超えた基礎モデルの台頭によって重要な要件となった。
我々は、複雑なリレーショナルクエリに基づいて、Cloud Object Store(COS)からGPUメモリへテンソルをワイヤスピードでストリーミングできるペタバイトスケールテンソルレイクハウスであるBankを紹介した。
このアーキテクチャは、コンピュータビジョン、計算神経科学、生物学的シーケンス分析などの他のユースケースに一般化される。
論文 参考訳(メタデータ) (2023-09-05T10:00:33Z) - INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order
Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。
InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。
1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文 参考訳(メタデータ) (2023-08-11T04:24:39Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2023-04-25T05:04:44Z) - Program of Thoughts Prompting: Disentangling Computation from Reasoning
for Numerical Reasoning Tasks [108.4568236569645]
CoT(Chain-of-thinkts prompting)は、これらのタスクに対する最先端の手法である。
本稿では、言語モデルを用いて推論過程をプログラムとして表現する「思考プログラム(PoT)」を提案する。
PoTは、評価されたすべてのデータセットに対して、CoTに対する平均的なパフォーマンス向上を約12%示すことができる。
論文 参考訳(メタデータ) (2022-11-22T21:06:00Z) - The Tensor Data Platform: Towards an AI-centric Database System [6.519203713828565]
AIでも同じことをする時が来た、と私たちは主張します -- しかし、ツイストで!
真のAI中心のデータベースを実現するには、エンジンをリレーショナルからテンソル抽象化に移行する必要がある、と私たちは主張しています。
これにより,(1)画像,ビデオ,音声,テキスト,リレーショナルなどのマルチモーダルデータ処理,(2)HWにおけるイノベーションの豊かさ,(3)自動微分を利用してタスクを実行する「訓練可能な」クエリの新たなクラスを実現する。
論文 参考訳(メタデータ) (2022-11-04T21:26:16Z) - PARTIME: Scalable and Parallel Processing Over Time with Deep Neural
Networks [68.96484488899901]
PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。
PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。
オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
論文 参考訳(メタデータ) (2022-10-17T14:49:14Z) - QParallel: Explicit Parallelism for Programming Quantum Computers [62.10004571940546]
並列量子プログラミングのための言語拡張を提案する。
QParallelは、現在の量子プログラミング言語における並列性に関する曖昧さを取り除く。
並列化によって最も利益を上げるサブルーチンを識別し,並列領域の配置にプログラマを誘導するツールを提案する。
論文 参考訳(メタデータ) (2022-10-07T16:35:16Z) - Query Processing on Tensor Computation Runtimes [8.538245568038654]
人工知能(AI)における計算の膨大な需要は、AIのための新しいハードウェアとソフトウェアシステムに、例外なく投資している。
テンソルベースのインターフェースを通じて低レベルの複雑性を隠すことで、PyTorchのようなテンソルランタイム(TCR)は、データサイエンティストが新しいハードウェアが提供するエキサイティングな機能を効率的に活用することができる。
論文 参考訳(メタデータ) (2022-03-03T17:41:39Z) - Probing quantum processor performance with pyGSTi [0.0]
PyGSTiは、量子コンピューティングプロセッサの性能を評価し、特徴付けるPythonソフトウェアパッケージである。
スタンドアロンのアプリケーションとして、あるいはライブラリとして、As-build量子プロセッサ上で様々な量子キャラクタリゼーション、検証、検証プロトコルを実行するために使用することができる。
論文 参考訳(メタデータ) (2020-02-27T23:24:14Z) - MOGPTK: The Multi-Output Gaussian Process Toolkit [71.08576457371433]
ガウス過程(GP)を用いたマルチチャネルデータモデリングのためのPythonパッケージMOGPTKを提案する。
このツールキットの目的は、研究者、データサイエンティスト、実践者にもMOGP(multi-output GP)モデルを利用できるようにすることである。
論文 参考訳(メタデータ) (2020-02-09T23:34:49Z) - Signatory: differentiable computations of the signature and logsignature
transforms, on both CPU and GPU [13.503274710499971]
Signatoryは、シグネチャおよびログシグネチャ変換に関連する機能を計算し、実行するライブラリである。
これは、効率的な事前計算戦略など、以前のライブラリでは利用できない新機能を実装している。
ライブラリはC++のPythonラッパーとして動作し、PyTorchエコシステムと互換性がある。
論文 参考訳(メタデータ) (2020-01-03T03:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。