論文の概要: Smart Compaction: Predicting Compaction Utility from Lakehouse Table Metadata
- arxiv url: http://arxiv.org/abs/2608.08639v1
- Date: Sun, 09 Aug 2026 11:15:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.903306
- Title: Smart Compaction: Predicting Compaction Utility from Lakehouse Table Metadata
- Title（参考訳）: スマートコンプレッション:レイクハウステーブルのメタデータから圧縮ユーティリティを予測する
- Abstract要約: オープンレイクハウステーブルフォーマットは、時間とともに小さなデータファイルを蓄積し、クエリのパフォーマンスを低下させる。
本稿では,ファイルサイズが3桁のApache Icebergテーブルを2,376個生成するオープン・シミュレーション・フレームワークを提案する。
我々は、データを読み取ることなく、マニフェストファイルから17のメタデータの特徴を抽出し、XGBoostをトレーニングし、連続的なファイル-引き込み比を予測する。
- 参考スコア（独自算出の注目度）: 0.053713376045563095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open lakehouse table formats accumulate small data files over time, which degrades query performance. Deciding when compaction is worthwhile remains threshold-driven, but which metadata features actually determine compaction utility is not well understood. We present an open simulation framework that generates 2,376 Apache Iceberg tables spanning three orders of magnitude in file size, extracts 17 metadata features from manifest files without reading data, and trains XGBoost to predict the continuous file-reduction ratio (R2 = 0.998, RMSE= 0.013). The binary compaction decision turns out to be trivially separable by a single partition-level threshold max_files_per_partition> 4, requiring no learned model. Cross-schema validation on 96 TPC-H tables confirms generalisation without retraining (R2 = 0.976). A query benchmark reveals that compaction benefits metadata-heavy queries but can slow full-scan aggregations by reducing task parallelism. All code and data are publicly available.
- Abstract（参考訳）: オープンレイクハウステーブルフォーマットは、時間とともに小さなデータファイルを蓄積し、クエリのパフォーマンスを低下させる。
圧縮が価値のあるときの決定はしきい値駆動のままだが、どのメタデータ機能が実際に圧縮ユーティリティを決定するのかはよく理解されていない。
本稿では,ファイルサイズが3桁の2,376 Apache Icebergテーブルを生成し,データを読み取らずに17のメタデータ特徴を抽出し,連続的なファイル縮小率(R2=0.998,RMSE=0.013)を予測するようXGBoostを訓練する。
バイナリ圧縮の決定は、学習モデルを必要としない単一のパーティションレベルしきい値max_files_per_partition> 4によって、自明に分離可能であることが判明した。
96 TPC-Hテーブル上でのクロススキーマ検証は、再トレーニングなしで一般化を確認する(R2 = 0.976)。
クエリベンチマークでは、コンパクト化はメタデータの多いクエリの恩恵を受けるが、タスクの並列性を減らしてフルスキャン集約を遅くすることができる。
すべてのコードとデータは公開されています。
関連論文リスト
- Enabling Knowledge Graph Understanding at Scale with the EXplore Your Graphs ENgine (EXYGEN) [10.110989282073994]
本稿では,知識グラフ(KG)理解のためのフレームワークであるEXYGENについて述べる。
構造化されたスキーマコンテキストと軽量なプロンプトが、KGへのスケーラブルな対話アクセスのための微調整への依存を大幅に低減することを示す。
論文 参考訳（メタデータ） (2026-09-10T14:03:32Z) - MLSkip: Data Skipping for ML Filters via Lightweight Metadata [8.09725161771284]
データベースベンダは最近、フィルタ述語で使用できるAI関数をリリースした。
整数と文字列データに対する従来のデータスキップ技術は、新しいフィルタタイプには適用できない。
Parquetのデフォルトのmin-maxメタデータはプルーニングを可能にするのに十分である。
論文 参考訳（メタデータ） (2026-06-02T17:36:06Z) - Pre-Execution Query Slot-Time Prediction in Cloud Data Warehouses: A Feature-Scoped Machine Learning Approach [0.0]
クラウドデータウェアハウスは、消費されるスロット時間に基づく請求計算を行う。
共有マルチテナント環境では、クエリコストは可変であり、実行前に見積もるのは困難である。
本稿では,事前実行可観測信号のみを用いて,実行前にBigQueryのスロットタイムを予測する機械学習手法を提案する。
論文 参考訳（メタデータ） (2026-04-22T03:15:16Z) - MEMENTO: Teaching LLMs to Manage Their Own Context [50.3558738319336]
推論モデルは、自身の中間状態を圧縮または整理するメカニズムのない、長い、構造化されていないストリームを思い浮かべる。
MementO: ブロックに推論を分割し、各ブロックをメメントに圧縮し、メメントにのみ参加して推論を行う方法をモデルに教える手法を紹介する。
OpenMementos上の2段階のSFTレシピは、異なるモデルファミリやスケールで有効であることを示す。
論文 参考訳（メタデータ） (2026-04-10T19:30:29Z) - Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。
NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-27T11:34:41Z) - PromptPort: A Reliability Layer for Cross-Model Structured Extraction [0.11280931253550518]
LLMによる構造化抽出は、モデルが理解できないためではなく、出力フォーマットがモデルやプロンプト間で信頼できないため、本番環境では失敗する。
本稿では,決定論的正準化と軽量検証器(DistilBERT)と安全オーバライドポリシを組み合わせた信頼性層であるPromptPortを提案する。
この方法は、保留モデルファミリに一般化し、不確実な場合には明示的な棄権を与え、プロダクションデプロイメントにおける信頼性の高い構造化抽出を可能にする。
論文 参考訳（メタデータ） (2026-01-06T03:54:27Z) - Predictive Modeling of I/O Performance for Machine Learning Training Pipelines: A Data-Driven Approach to Storage Optimization [0.0]
現代の機械学習トレーニングは、計算よりもデータI/Oによってますますボトルネックになっている。
本稿では,機械学習によるI/O性能の予測と,MLトレーニングパイプラインのための最適なストレージ構成を提案する。
論文 参考訳（メタデータ） (2025-12-07T07:25:08Z) - Illuminating Patterns of Divergence: DataDios SmartDiff for Large-Scale Data Difference Analysis [0.0]
SmartDiffはスキーマ対応マッピング、タイプ固有のコンパレータ、並列実行を組み合わせた統合システムである。
数百万行のデータセット上では、SmartDiffは95%以上のリコールを達成し、30～50%高速に動作し、ベースラインよりも30～50%少ないメモリを使用する。
論文 参考訳（メタデータ） (2025-08-30T01:03:44Z) - R1-Compress: Long Chain-of-Thought Compression via Chunk Compression and Search [61.4807238517108]
CoT(Chain-of-Thought)推論は、ステップバイステップの問題解決を可能にすることで、大きな言語モデル(LLM)を強化する。
CoTのLong-CoTへの拡張はトークン長の増加による計算オーバーヘッドを大幅に増加させる。
ローカル情報とコヒーレンスの両方を保存する2段階のチャンクレベル圧縮フレームワークであるR1-Compressを提案する。
論文 参考訳（メタデータ） (2025-05-22T16:06:59Z) - Lightweight Correlation-Aware Table Compression [58.50312417249682]
$texttVirtual$は、既存のオープンフォーマットとシームレスに統合されるフレームワークである。
data-govデータセットの実験によると、$texttVirtual$はApache Parquetと比較してファイルサイズを最大40%削減する。
論文 参考訳（メタデータ） (2024-10-17T22:28:07Z) - TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [51.66718740300016]
TableLLMは80億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。
TableLLMはデータ操作タスクを巧みに扱うために構築されている。
我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
論文 参考訳（メタデータ） (2024-03-28T11:21:12Z) - Compatibility-aware Heterogeneous Visual Search [93.90831195353333]
既存のシステムは、同じ埋め込みモデルを使用して、クエリとギャラリーイメージの表現(埋め込み)を計算します。
1つは埋め込みを計算する各モデルのパラメータを変更し、もう1つは埋め込みを計算するアーキテクチャを変更して実行します。
最大埋め込みモデル(パラゴン)を用いた通常の(均一な)ビジュアルサーチと比較して,CMP-NASは80倍,23倍のコスト削減を実現している。
論文 参考訳（メタデータ） (2021-05-13T02:30:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。