論文の概要: Zero-Shot Cost Models for Out-of-the-box Learned Cost Prediction

• arxiv url: http://arxiv.org/abs/2201.00561v1
• Date: Mon, 3 Jan 2022 10:11:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 15:26:08.237112
• Title: Zero-Shot Cost Models for Out-of-the-box Learned Cost Prediction
• Title（参考訳）: アウトオブボックス学習コスト予測のためのゼロショットコストモデル
• Authors: Benjamin Hilprecht and Carsten Binnig
• Abstract要約: ゼロショットコストモデルを導入し、未確認データベースに一般化した学習コスト推定を可能にする。 事前学習したコストモデルに基づく新しい学習パラダイムを提案する。 ゼロショットコストモデルが数ショットモードで利用可能であることを示し、未知のデータベースに少数追加のトレーニングクエリを追加するだけで、その品質をさらに向上できることを示した。
• 参考スコア（独自算出の注目度）: 18.46293613612346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce zero-shot cost models which enable learned cost estimation that generalizes to unseen databases. In contrast to state-of-the-art workload-driven approaches which require to execute a large set of training queries on every new database, zero-shot cost models thus allow to instantiate a learned cost model out-of-the-box without expensive training data collection. To enable such zero-shot cost models, we suggest a new learning paradigm based on pre-trained cost models. As core contributions to support the transfer of such a pre-trained cost model to unseen databases, we introduce a new model architecture and representation technique for encoding query workloads as input to those models. As we will show in our evaluation, zero-shot cost estimation can provide more accurate cost estimates than state-of-the-art models for a wide range of (real-world) databases without requiring any query executions on unseen databases. Furthermore, we show that zero-shot cost models can be used in a few-shot mode that further improves their quality by retraining them just with a small number of additional training queries on the unseen database.
• Abstract（参考訳）: 本稿では,データベースに一般化した学習コスト推定を可能にするゼロショットコストモデルを提案する。 新しいデータベース毎に大量のトレーニングクエリを実行する必要のある最先端のワークロード駆動アプローチとは対照的に、ゼロショットコストモデルでは、高価なトレーニングデータ収集を必要とせずに学習コストモデルをインスタンス化することができる。 このようなゼロショットコストモデルを実現するために,事前学習したコストモデルに基づいた新しい学習パラダイムを提案する。 このようなトレーニング済みのコストモデルを未知のデータベースに転送するためのコアコントリビューションとして、クエリワークロードをそれらのモデルへの入力としてエンコードするための新しいモデルアーキテクチャと表現技術を導入する。 我々の評価で示すように、ゼロショットコスト推定は、未公開データベースでのクエリ実行を必要とせずに、幅広い(実世界の)データベースの最先端モデルよりも正確なコスト見積もりを提供できる。 さらに,ゼロショットコストモデルは,未使用のデータベース上で,少数の追加のトレーニングクエリで再トレーニングすることで,品質をさらに向上させる,数ショットモードで使用できることを示す。

関連論文リスト

• The ALCHEmist: Automated Labeling 500x CHEaper Than LLM Data Annotators [11.056579191156498]
  大規模な事前訓練されたモデルは、アノテータとして使用することができ、クラウドワーカーを置き換えたり拡張したりするのに役立ちます。 最上位モデルを採用する場合、APIコールに数千ドルを支払わなければならない場合が多い。 事前訓練されたモデルからラベルを直接クエリする代わりに、ラベルを生成するプログラムを生成するようにモデルをタスクする。
  論文  参考訳（メタデータ） (2024-06-25T17:58:26Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• One-Shot Open Affordance Learning with Foundation Models [54.15857111929812]
  私たちは、モデルがベースオブジェクトカテゴリ毎に1つの例でトレーニングされる、ワンショットのオープンアフォーダンスラーニング(OOAL)を紹介します。 本稿では,視覚的特徴と手頃なテキスト埋め込みとの整合性を高める,シンプルで効果的な設計の視覚言語フレームワークを提案する。 2つのアベイランスセグメンテーションのベンチマーク実験により、提案手法はトレーニングデータの1%未満で最先端のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-29T16:23:06Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Optimizing Data Collection for Machine Learning [87.37252958806856]
  現代のディープラーニングシステムは、素晴らしいパフォーマンスを達成するために巨大なデータセットを必要とします。 過度に収集したデータは不要な現在のコストを発生させる一方、過度に収集したデータは将来のコストと遅延を引き起こす可能性がある。 本稿では,データ収集を形式的最適データ収集問題としてモデル化するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T21:19:05Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Alternate Model Growth and Pruning for Efficient Training of Recommendation Systems [7.415129876303651]
  モデルプルーニングは、冗長なパラメータを取り除いてディープニューラルネットワークの計算オーバーヘッドを削減する効果的な手法である。 ビッグデータ処理の需要のため、現代のレコメンデーションシステムはモデルキャパシティにとってまだ渇望的です。 トレーニング中の重量を代替して構築し、調整するためのダイナミックなトレーニングスキーム、すなわち、モデルの成長と刈り取りを提案します。
  論文  参考訳（メタデータ） (2021-05-04T03:14:30Z)
• One Model to Rule them All: Towards Zero-Shot Learning for Databases [18.46293613612346]
  データベースのゼロショット学習は、データベースコンポーネントの新しい学習アプローチである。 物理コスト推定タスクにおけるゼロショット学習の実現性を示す。 データベースのゼロショット学習に関するコア課題について論じ,ゼロショット学習を拡張するロードマップを提示する。
  論文  参考訳（メタデータ） (2021-05-03T06:18:47Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。