論文の概要: MLSkip: Data Skipping for ML Filters via Lightweight Metadata

• arxiv url: http://arxiv.org/abs/2606.03946v1
• Date: Tue, 02 Jun 2026 17:36:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.221503
• Title: MLSkip: Data Skipping for ML Filters via Lightweight Metadata
• Title（参考訳）: MLSkip:軽量メタデータによるMLフィルタのデータスキッピング
• Authors: Mihail Stoian, Mark Gerarts, Pascal Ginter, Andreas Zimmerer, Jan Van den Bussche, Andreas Kipf,
• Abstract要約: データベースベンダは最近、フィルタ述語で使用できるAI関数をリリースした。 整数と文字列データに対する従来のデータスキップ技術は、新しいフィルタタイプには適用できない。 Parquetのデフォルトのmin-maxメタデータはプルーニングを可能にするのに十分である。
• 参考スコア（独自算出の注目度）: 8.09725161771284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Database vendors recently released AI functions that can be used in filter predicates. As such functions often rely on costly, black-box ML models, they unveil new data management challenges. Concretely, traditional data skipping techniques for integer and string data fail to be applicable to the new filter type. Indeed, there is no known mechanism for pruning non-qualifying row groups, e.g., when reading files from blob storage. In this work, we initiate the study of data skipping techniques for ML filters. We make the case that Parquet's default min-max metadata is enough to enable pruning. To this end, we draw connections to two lines of research: (i) the recently proposed query language for ML models and (ii) neural network verification. Our preliminary results on ReLU architectures show that on tables from TPC-H and TPC-DS, the average pruning effectiveness for filters of selectivity below 0.1% amounts to 27.4%. Finally, inspired by research on spatial joins, we propose an enhanced metadata structure: a size-bounded 2D convex hull that verification tools can make better use of, increasing the pruning effectiveness to 38.31%, while occupying at most 45 bytes per row group and column pair. We observe an end-to-end speedup of 1.07$\times$ over PyTorch in DuckDB.
• Abstract（参考訳）: データベースベンダは最近、フィルタ述語で使用できるAI関数をリリースした。 このような機能はコストのかかるブラックボックスMLモデルに依存することが多いため、新たなデータ管理の課題が浮かび上がっている。 具体的には、整数データと文字列データの伝統的なスキップ技術は、新しいフィルタタイプには適用できない。 実際、ブロブストレージからファイルを読み込む際に、例えば、非修飾行グループをプルーニングするメカニズムは知られていない。 本研究では,MLフィルタのデータスキッピング技術の研究を開始する。 Parquetのデフォルトのmin-maxメタデータはプルーニングを可能にするのに十分である。 この目的のために、我々は2つの研究の境界線を描いている。 (i)最近提案されたMLモデルとクエリ言語 (ii)ニューラルネットワークの検証。 ReLUアーキテクチャの予備的な結果は、TPC-HとTPC-DSのテーブル上では、選択率0.1%未満のフィルタに対する平均プルーニング効率が27.4%であることを示している。 最後に, 空間結合の研究に触発されて, 検証ツールが有効に活用できる大きさの2次元凸船体を, 最大45バイトの列群と列対を占有しながら, プルーニング効率を38.31%に向上する, 拡張されたメタデータ構造を提案する。 DuckDBのPyTorch上の1.07$\times$のエンドツーエンドのスピードアップを観察する。

関連論文リスト

• Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic [99.3682210827572]
  ビジョン言語モデル(VLM)は、慎重にキュレートされたWebデータセット上で数千のGPU時間でトレーニングされる。 データキュレーション戦略は通常、トレーニングに利用可能な計算を知らないように開発されている。 ウェブデータの非均一性を考慮したニューラルスケーリング法則を導入する。
  論文  参考訳（メタデータ） (2024-04-10T17:27:54Z)
• DiffPrep: Differentiable Data Preprocessing Pipeline Search for Learning over Tabular Data [12.416345241511781]
  与えられたデータセットに対するデータ前処理パイプラインを自動かつ効率的に検索するDiffPrepを提案する。 実験の結果,DiffPrepは実世界の18のデータセットのうち15の精度で最高のテスト精度を達成できた。
  論文  参考訳（メタデータ） (2023-08-20T23:40:26Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Data Selection for Language Models via Importance Resampling [90.9263039747723]
  我々は、望まれるターゲット分布に合わせるために、大規模な未ラベルデータセットのサブセットを選択するという問題を形式化する。 我々は、LMデータ選択のために低次元で使用される古典的な重要度再サンプリング手法を拡張した。 DSIRフレームワークをhash n-gram機能でインスタンス化し、4.5時間で1億のドキュメントを選択できる。
  論文  参考訳（メタデータ） (2023-02-06T23:57:56Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)
• CNN Filter DB: An Empirical Investigation of Trained Convolutional Filters [2.0305676256390934]
  モデル事前学習は、サイズと分散条件を満たす場合、任意のデータセットで成功することを示す。 事前学習された多くのモデルには、劣化したフィルタが含まれており、それによって、より堅牢で、ターゲットアプリケーションの微調整に適さないことが示される。
  論文  参考訳（メタデータ） (2022-03-29T08:25:42Z)
• Deep Model Compression based on the Training History [13.916984628784768]
  本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。 提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
  論文  参考訳（メタデータ） (2021-01-30T06:04:21Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。