論文の概要: Delta Tensor: Efficient Vector and Tensor Storage in Delta Lake

• arxiv url: http://arxiv.org/abs/2405.03708v2
• Date: Wed, 8 May 2024 19:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 12:23:27.603191
• Title: Delta Tensor: Efficient Vector and Tensor Storage in Delta Lake
• Title（参考訳）: デルタ・テンソル(Delta Tensor) - デルタ湖の効率的なベクトル・テンソル・ストレージ
• Authors: Zhiwei Bao, Liu Liao-Liao, Zhiyu Wu, Yifan Zhou, Dan Fan, Michal Aibin, Yvonne Coady, Andrew Brownsword,
• Abstract要約: 本稿では,デルタ湖を用いたレイクハウス建築におけるテンソル貯蔵の新しい手法を提案する。 実験により、このアプローチは空間と時間効率の両方において顕著に改善されていることが示された。
• 参考スコア（独自算出の注目度）: 3.305329582825555
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The exponential growth of artificial intelligence (AI) and machine learning (ML) applications has necessitated the development of efficient storage solutions for vector and tensor data. This paper presents a novel approach for tensor storage in a Lakehouse architecture using Delta Lake. By adopting the multidimensional array storage strategy from array databases and sparse encoding methods to Delta Lake tables, experiments show that this approach has demonstrated notable improvements in both space and time efficiencies when compared to traditional serialization of tensors. These results provide valuable insights for the development and implementation of optimized vector and tensor storage solutions in data-intensive applications, contributing to the evolution of efficient data management practices in AI and ML domains in cloud-native environments
• Abstract（参考訳）: 人工知能(AI)と機械学習(ML)のアプリケーションの指数関数的成長は、ベクトルデータとテンソルデータのための効率的なストレージソリューションの開発を必要としている。 本稿では,デルタ湖を用いたレイクハウス建築におけるテンソル貯蔵の新しい手法を提案する。 アレイデータベースからの多次元配列記憶戦略とスパース符号化手法をデルタレイクテーブルに適用することにより、従来のテンソルのシリアライゼーションと比較して、この手法は空間および時間効率の両方において顕著に改善されていることを示す。 これらの結果は、データ集約型アプリケーションにおける最適化ベクターおよびテンソルストレージソリューションの開発と実装のための貴重な洞察を与え、クラウドネイティブ環境におけるAIおよびMLドメインにおける効率的なデータ管理プラクティスの進化に寄与する。

関連論文リスト

• Tensor-GaLore: Memory-Efficient Training via Gradient Tensor Decomposition [93.98343072306619]
  本研究では,高次テンソル重み付きニューラルネットワークの効率的なトレーニング手法であるNavier-GaLoreを提案する。 様々なPDEタスクの中で、Navier-GaLoreはメモリ節約を実現し、最大75%のメモリ使用量を削減している。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• Code generation and runtime techniques for enabling data-efficient deep learning training on GPUs [8.00550423071637]
  この論文は、特にグラフニューラルネットワーク(GNN)と大規模言語モデル(LLM)において、代表的深層学習タスクにおけるデータ非効率を解析する。 これらの課題を軽減し、PyTorchスタック内でこれらの最適化をシームレスに実装するための、新しいランタイムとコード生成技術を提案する。
  論文  参考訳（メタデータ） (2024-12-06T03:20:03Z)
• Navigating Extremes: Dynamic Sparsity in Large Output Spaces [5.231219025536679]
  動的スパーストレーニング(DST)は、効率的なモデルを生成するための訓練後プルーニングの代替として登場した。 我々は、半構造化スパース訓練の最近の進歩を活用し、大きな出力空間を持つ分類領域にDSTを適用した。 スパース分類器から高密度テキストエンコーダへの勾配流は、優れた入力表現の学習を困難にしている。
  論文  参考訳（メタデータ） (2024-11-05T15:19:29Z)
• DCP: Learning Accelerator Dataflow for Neural Network via Propagation [52.06154296196845]
  この研究は、DNN層の最適なデータフローを人間の努力なしに数秒で自動的に見つけるために、Dataflow Code Propagation (DCP)と呼ばれる効率的なデータ中心のアプローチを提案する。 DCPは、様々な最適化目標を最小化するために、望ましい勾配方向に向けてデータフローコードを効率的に更新する神経予測器を学習する。 例えば、追加のトレーニングデータを使用しないDCPは、数千のサンプルを使用して完全な検索を行うGAMAメソッドを超越している。
  論文  参考訳（メタデータ） (2024-10-09T05:16:44Z)
• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• PG-LBO: Enhancing High-Dimensional Bayesian Optimization with Pseudo-Label and Gaussian Process Guidance [31.585328335396607]
  現在の主流の手法は、ラベルのないデータのプールを利用して潜在空間を構築する可能性を見落としている。 ラベル付きデータのガイダンスを用いてラベル付きデータを効果的に活用するための新しい手法を提案する。 提案手法は,様々な最適化シナリオにおいて,既存のVAE-BOアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2023-12-28T11:57:58Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• ConfuciuX: Autonomous Hardware Resource Assignment for DNN Accelerators using Reinforcement Learning [5.251940442946459]
  本研究では、与えられたモデルとデータフロースタイルに対して最適化されたHWリソース割り当てを見つけるために、ConfuciuXと呼ばれる自律的戦略を提案する。 最適化されたハードウェア構成4.7から24倍の速度で収束する。
  論文  参考訳（メタデータ） (2020-09-04T04:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。