論文の概要: Morphing-based Compression for Data-centric ML Pipelines
- arxiv url: http://arxiv.org/abs/2504.11067v1
- Date: Tue, 15 Apr 2025 11:02:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-24 03:40:06.494657
- Title: Morphing-based Compression for Data-centric ML Pipelines
- Title（参考訳）: データ中心MLパイプラインのモーフィングに基づく圧縮
- Authors: Sebastian Baunsgaard, Matthias Boehm,
- Abstract要約: データ中心の機械学習パイプラインは、データクリーニング、拡張、機能エンジニアリングのための外部ループによって、従来の機械学習(ML)パイプラインを拡張する。
特徴変換とエンジニアリングを通じて圧縮を推し進め、構造変換に関する情報を活用するBWAREを紹介する。
BWAREは、エンドツーエンドのランタイムを大幅に改善し、データ中心のMLパイプラインを数日から数時間でトレーニングするための実行時間を短縮する。
- 参考スコア（独自算出の注目度）: 5.017925514003463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-centric ML pipelines extend traditional machine learning (ML) pipelines -- of feature transformations and ML model training -- by outer loops for data cleaning, augmentation, and feature engineering to create high-quality input data. Existing lossless matrix compression applies lightweight compression schemes to numeric matrices and performs linear algebra operations such as matrix-vector multiplications directly on the compressed representation but struggles to efficiently rediscover structural data redundancy. Compressed operations are effective at fitting data in available memory, reducing I/O across the storage-memory-cache hierarchy, and improving instruction parallelism. The applied data cleaning, augmentation, and feature transformations provide a rich source of information about data characteristics such as distinct items, column sparsity, and column correlations. In this paper, we introduce BWARE -- an extension of AWARE for workload-aware lossless matrix compression -- that pushes compression through feature transformations and engineering to leverage information about structural transformations. Besides compressed feature transformations, we introduce a novel technique for lightweight morphing of a compressed representation into workload-optimized compressed representations without decompression. BWARE shows substantial end-to-end runtime improvements, reducing the execution time for training data-centric ML pipelines from days to hours.
- Abstract（参考訳）: データ中心のMLパイプラインは、データクリーニング、拡張、機能エンジニアリングのための外部ループによって、機能変換やMLモデルトレーニングといった従来の機械学習(ML)パイプラインを拡張して、高品質な入力データを生成する。
既存のロスレス行列圧縮は、数値行列に軽量な圧縮スキームを適用し、圧縮された表現に直接行列ベクトル乗算などの線形代数演算を行うが、構造データの冗長性を効率的に再発見するのに苦労する。
圧縮された操作は、利用可能なメモリにデータを入れ、ストレージ-メモリ-キャッシュ階層間のI/Oを削減し、命令並列性を改善するのに効果的である。
適用されたデータのクリーニング、拡張、特徴変換は、異なる項目、列の間隔、列の相関といったデータ特性に関する豊富な情報源を提供する。
本稿では,作業負荷を考慮した損失のない行列圧縮のためのAWAREの拡張であるBWAREを紹介する。
圧縮された特徴変換の他に,圧縮された表現を圧縮せずにワークロード最適化された圧縮表現に軽量に変形する手法を導入する。
BWAREは、エンドツーエンドのランタイムを大幅に改善し、データ中心のMLパイプラインを数日から数時間でトレーニングするための実行時間を短縮する。
関連論文リスト
- Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。
本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
論文 参考訳（メタデータ） (2025-03-30T14:23:18Z) - Learning Structured Compressed Sensing with Automatic Resource Allocation [10.298464166235272]
多次元データ取得には時間を要することが多く、ハードウェアやソフトウェアにとって大きな課題となる。
情報理論に基づく教師なし学習戦略を用いたSCOSARA(Structured Compressed Sensing with Automatic Resource Allocation)を提案する。
論文 参考訳（メタデータ） (2024-10-24T17:53:33Z) - Lightweight Correlation-Aware Table Compression [58.50312417249682]
$texttVirtual$は、既存のオープンフォーマットとシームレスに統合されるフレームワークである。
data-govデータセットの実験によると、$texttVirtual$はApache Parquetと比較してファイルサイズを最大40%削減する。
論文 参考訳（メタデータ） (2024-10-17T22:28:07Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - QET: Enhancing Quantized LLM Parameters and KV cache Compression through Element Substitution and Residual Clustering [5.363038867793461]
量子化前後の行列間の距離を最小化するために、量子化誤差最小化問題を定式化する。
行列量子化は、Large Language Models (LLM) 重み量子化、ベクトルデータベース、KVキャッシュ量子化、グラフ圧縮、画像圧縮など、様々なアプリケーションにおいて重要である。
行列要素の局所順序性を利用してQEM問題に対処する量子エンタングルメントツリー(QET)を提案する。
論文 参考訳（メタデータ） (2024-07-04T05:13:58Z) - Probing Image Compression For Class-Incremental Learning [8.711266563753846]
連続機械学習(ML)システムは、前もって学習したデータのパフォーマンスを維持するために、メモリ制限内に代表サンプル(例題としても知られる)を格納することに依存する。
本稿では,バッファの容量を増大させる戦略として画像圧縮を利用する方法を検討する。
本稿では,事前処理データ圧縮ステップと効率的な圧縮率/アルゴリズム選択方法を含む連続MLのための画像圧縮を組み込む新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-10T18:58:14Z) - Everything You Always Wanted to Know About Storage Compressibility of
Pre-Trained ML Models but Were Afraid to Ask [19.612260423937744]
既存のデータ削減技術は、事前訓練されたモデル(PTM)データセットファイルのために特別に設計されていない。
本稿では,ストレージ圧縮性に関するPTMデータセットの現在までの総括的解析について述べる。
我々は、他のいくつかのデータ削減手法とともにELFを統合する圧縮フレームワークであるElvesを開発した。
論文 参考訳（メタデータ） (2024-02-20T23:45:37Z) - A Survey on Transformer Compression [84.18094368700379]
自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす
モデル圧縮法は、Transformerのメモリと計算コストを削減する。
この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
論文 参考訳（メタデータ） (2024-02-05T12:16:28Z) - Context Compression for Auto-regressive Transformers with Sentinel
Tokens [37.07722536907739]
本稿では,特定のトークンの中間活性化をコンパクトに段階的に圧縮できるプラグイン・アンド・プレイ方式を提案する。
ドメイン内言語モデリングとゼロショットオープンエンド文書生成の両方の実験は、我々のアプローチの利点を実証している。
論文 参考訳（メタデータ） (2023-10-12T09:18:19Z) - Performance Embeddings: A Similarity-based Approach to Automatic
Performance Optimization [71.69092462147292]
パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。
本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
論文 参考訳（メタデータ） (2023-03-14T15:51:35Z) - Modeling Lost Information in Lossy Image Compression [72.69327382643549]
ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。
Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-22T04:04:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。