論文の概要: Bullion: A Column Store for Machine Learning

• arxiv url: http://arxiv.org/abs/2404.08901v3
• Date: Tue, 19 Nov 2024 07:04:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:32:59.616814
• Title: Bullion: A Column Store for Machine Learning
• Title（参考訳）: Bullion: 機械学習のためのカラムストア
• Authors: Gang Liao, Ye Liu, Jianjun Chen, Daniel J. Abadi,
• Abstract要約: 本稿では,機械学習処理に適した列記憶システムであるBullionについて述べる。 Bundyはデータコンプライアンスの複雑さに対処し、長いシーケンススパース機能のエンコーディングを最適化し、拡張可能なプロジェクションを効率的に管理し、ストレージに機能量子化を導入し、包括的なカスケードエンコーディングフレームワークを提供する。 予備的な実験結果と理論的分析は、機械学習ワークロードのユニークな要求に直面して、Bullionが強力なパフォーマンスを提供する能力が改善されたことを示している。
• 参考スコア（独自算出の注目度）: 4.096087402737292
• License:
• Abstract: The past two decades have witnessed significant success in applying columnar storage to data warehousing and analytics. However, the rapid growth of machine learning poses new challenges. This paper presents Bullion, a columnar storage system tailored for machine learning workloads. Bullion addresses the complexities of data compliance, optimizes the encoding of long sequence sparse features, efficiently manages wide-table projections, introduces feature quantization in storage, enables quality-aware sequential reads for multimodal training data, and provides a comprehensive cascading encoding framework that unifies diverse encoding schemes through modular, composable interfaces. By aligning with the evolving requirements of ML applications, Bullion facilitates the application of columnar storage and processing to modern application scenarios such as those within advertising, recommendation systems, and Generative AI. Preliminary experimental results and theoretical analysis demonstrate Bullion's improved ability to deliver strong performance in the face of the unique demands of machine learning workloads compared to existing columnar storage solutions. Bullion significantly reduces I/O costs for deletion compliance, achieves substantial storage savings with its optimized encoding scheme for sparse features, and improves metadata parsing speed for wide-table projections. These advancements enable Bullion to become an important component in the future of machine learning infrastructure, enabling organizations to efficiently manage and process the massive volumes of data required for training and inference in modern AI applications.
• Abstract（参考訳）: 過去20年間、コラムストレージをデータウェアハウスや分析に適用することに成功した。 しかし、機械学習の急速な成長は、新たな課題を引き起こしている。 本稿では,機械学習処理に適した列記憶システムであるBullionについて述べる。 Bullionはデータコンプライアンスの複雑さに対処し、長いシーケンススパース機能のエンコーディングを最適化し、拡張可能なプロジェクションを効率的に管理し、ストレージの機能量子化を導入し、マルチモーダルなトレーニングデータに対する品質に配慮したシーケンシャルな読み込みを可能にし、モジュールで構成可能なインターフェースを通じて多様なエンコーディングスキームを統一する包括的なカスケード符号化フレームワークを提供する。 MLアプリケーションの進化する要件に合わせて、Bullionは、コラムストレージと処理を、広告、レコメンデーションシステム、ジェネレーティブAIなどの現代的なアプリケーションシナリオに適用することを促進する。 予備的な実験結果と理論的分析は、既存のカラム型ストレージソリューションと比較して、機械学習ワークロードのユニークな要求に直面して、Bulionが強力なパフォーマンスを提供する能力が改善されたことを示している。 Bullionは削除コンプライアンスのI/Oコストを大幅に削減し、スパース機能に最適化された符号化スキームで大幅なストレージ節約を実現し、ワイドテーブルプロジェクションのメタデータ解析速度を向上する。 これらの進歩により、Bulionは機械学習インフラストラクチャの将来において重要なコンポーネントとなり、現代的なAIアプリケーションでトレーニングや推論に必要な大量のデータを効率的に管理し、処理することができる。

関連論文リスト

• Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning [0.0]
  パティオ時間予測は、輸送システム、物流、サプライチェーン管理など、様々な分野において重要な役割を担っている。 本稿では,オープンソースの大規模・小規模言語モデル(LLM,LM)と従来の予測手法を組み合わせたハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T16:11:53Z)
• MaxMind: A Memory Loop Network to Enhance Software Productivity based on Large Language Models [13.839564855350295]
  本稿では,リアルタイムタスク体験をシステムメモリに変換することの重要性について論じる。 タスク記憶の蓄積とリサイクルがタスク成功率の着実に向上することを示す。 メモリリサイクルを取り入れることで、システムのタスク実行効率を最大25%向上させることができる。
  論文  参考訳（メタデータ） (2024-08-07T15:27:22Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Retrieval-Enhanced Machine Learning [110.5237983180089]
  本稿では,いくつかの既存モデルを含む汎用的な検索強化機械学習フレームワークについて述べる。 REMLは情報検索の慣例に挑戦し、最適化を含む中核領域における新たな進歩の機会を提示している。 REMLリサーチアジェンダは、情報アクセス研究の新しいスタイルの基礎を築き、機械学習と人工知能の進歩への道を開く。
  論文  参考訳（メタデータ） (2022-05-02T21:42:45Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Scalable Deep-Learning-Accelerated Topology Optimization for Additively Manufactured Materials [4.221095652322005]
  トポロジー最適化(TO)は、新しい構造、材料、デバイスを設計するための、人気があり強力な計算手法である。 これらの課題に対処するため、SDL-TOと呼ばれる汎用拡張型ディープラーニング(DL)ベースのToフレームワークを提案する。 我々のフレームワークは、反復履歴データを学習し、与えられた設計と勾配のマッピングを同時にトレーニングすることで、TOを加速します。
  論文  参考訳（メタデータ） (2020-11-28T17:38:31Z)
• Hardware Acceleration of Sparse and Irregular Tensor Computations of ML Models: A Survey and Insights [18.04657939198617]
  本稿では,ハードウェアアクセラレータ上での機械学習モデルのスパースおよび不規則テンソル計算の効率的な実行に関する包括的調査を行う。 異なるハードウェア設計とアクセラレーション技術を分析し、ハードウェアと実行コストの観点から分析する。 スパース、不規則形状、量子化テンソルの加速における重要な課題を理解すること。
  論文  参考訳（メタデータ） (2020-07-02T04:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。