論文の概要: A Practical Theory of Generalization in Selectivity Learning
- arxiv url: http://arxiv.org/abs/2409.07014v1
- Date: Wed, 11 Sep 2024 05:10:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 15:36:35.549471
- Title: A Practical Theory of Generalization in Selectivity Learning
- Title（参考訳）: 選択性学習における一般化の実践的理論
- Authors: Peizhi Wu, Haoshu Xu, Ryan Marcus, Zachary G. Ives,
- Abstract要約: クエリ駆動機械学習モデルは、クエリ選択のための有望な推定手法として登場した。
確率的近似(PAC)学習フレームワークに基づく最先端(SOTA)理論のギャップを埋める。
符号付き測度によって誘導される選択性予測器は学習可能であり,SOTA理論における確率測度への依存を緩和することを示す。
- 参考スコア（独自算出の注目度）: 8.268822578361824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Query-driven machine learning models have emerged as a promising estimation technique for query selectivities. Yet, surprisingly little is known about the efficacy of these techniques from a theoretical perspective, as there exist substantial gaps between practical solutions and state-of-the-art (SOTA) theory based on the Probably Approximately Correct (PAC) learning framework. In this paper, we aim to bridge the gaps between theory and practice. First, we demonstrate that selectivity predictors induced by signed measures are learnable, which relaxes the reliance on probability measures in SOTA theory. More importantly, beyond the PAC learning framework (which only allows us to characterize how the model behaves when both training and test workloads are drawn from the same distribution), we establish, under mild assumptions, that selectivity predictors from this class exhibit favorable out-of-distribution (OOD) generalization error bounds. These theoretical advances provide us with a better understanding of both the in-distribution and OOD generalization capabilities of query-driven selectivity learning, and facilitate the design of two general strategies to improve OOD generalization for existing query-driven selectivity models. We empirically verify that our techniques help query-driven selectivity models generalize significantly better to OOD queries both in terms of prediction accuracy and query latency performance, while maintaining their superior in-distribution generalization performance.
- Abstract（参考訳）: クエリ駆動機械学習モデルは、クエリ選択のための有望な推定手法として登場した。
しかし、理論的な観点からこれらの手法の有効性について驚くほど知られていないのは、実用的な解法と、確率的近似(PAC)学習フレームワークに基づく最先端(SOTA)理論の間にはかなりのギャップがあるからである。
本稿では,理論と実践のギャップを埋めることを目的としている。
まず、符号付き測度によって誘導される選択性予測器が学習可能であることを示し、SOTA理論における確率測度への依存を緩和する。
さらに重要なことは、PAC学習フレームワーク(トレーニングとテストの両方のワークロードが同じディストリビューションから引き出される場合にのみ、モデルがどのように振る舞うかを特徴付けることができる)を超えて、穏やかな仮定の下で、このクラスの選択性予測器が好ましいアウト・オブ・ディストリビューション(OOD)の一般化エラー境界を示すことを確立します。
これらの理論的な進歩により、クエリ駆動選択性学習の分散化とOOD一般化機能の両方をよりよく理解することができ、既存のクエリ駆動選択性モデルに対するOOD一般化を改善するための2つの一般的な戦略の設計が容易になる。
我々は,提案手法がクエリ駆動選択性モデルにおいて,予測精度とクエリ遅延性能の両方の観点から,OODクエリに対してはるかに優れた一般化を実現するのに役立つことを実証的に検証した。
関連論文リスト
- On the Generalization of Preference Learning with DPO [17.420727709895736]
大きな言語モデル(LLM)は目覚ましい能力を示してきたが、しばしば人間の好みに合わせるのに苦労している。
嗜好学習は、人間のフィードバックに基づいて、好ましくない反応と好ましくない反応を区別するモデルを訓練する。
本稿では、直接選好最適化(DPO)で訓練されたモデルの一般化保証を解析するための新しい理論的枠組みを提案する。
論文 参考訳（メタデータ） (2024-08-06T22:11:00Z) - Distribution Learning and Its Application in Deep Learning [5.281849820329249]
本稿では,確率分布学習(PD Learning)と呼ばれる理論学習フレームワークを紹介する。
PD学習は確率分布の学習に重点を置いており、確率の単純さの中で確率変数としてモデル化される。
論文 参考訳（メタデータ） (2024-06-09T06:49:22Z) - Mitigating Simplicity Bias in Deep Learning for Improved OOD
Generalization and Robustness [5.976013616522926]
モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。
まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。
様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2023-10-09T21:19:39Z) - Topology-aware Robust Optimization for Out-of-distribution
Generalization [18.436575017126323]
アウト・オブ・ディストリビューション(OOD)の一般化は難しい機械学習問題であるが、多くの高スループットアプリケーションで非常に望ましい。
本稿では,分散トポロジを原理的最適化フレームワークにシームレスに統合するトポロジ対応ロバスト最適化(TRO)を提案する。
提案手法の有効性を理論的に実証し, 分類, 回帰, セマンティックセグメンテーションを含む幅広いタスクにおいて, 芸術の状態を著しく上回っていることを示す。
論文 参考訳（メタデータ） (2023-07-26T03:48:37Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:00:09Z) - Guide the Learner: Controlling Product of Experts Debiasing Method Based
on Token Attribution Similarities [17.082695183953486]
一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。
ここでは、バイアスドモデルが機能をショートカットする、という前提がある。
本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
論文 参考訳（メタデータ） (2023-02-06T15:21:41Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。
本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。
いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-07-14T18:18:02Z) - Learning Causal Semantic Representation for Out-of-Distribution
Prediction [125.38836464226092]
因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。
CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
論文 参考訳（メタデータ） (2020-11-03T13:16:05Z) - Learning the Truth From Only One Side of the Story [58.65439277460011]
一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。
理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
論文 参考訳（メタデータ） (2020-06-08T18:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。