論文の概要: KDSM: An uplift modeling framework based on knowledge distillation and
sample matching
- arxiv url: http://arxiv.org/abs/2303.02980v1
- Date: Mon, 6 Mar 2023 09:15:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 16:43:52.479444
- Title: KDSM: An uplift modeling framework based on knowledge distillation and
sample matching
- Title(参考訳): KDSM:知識蒸留とサンプルマッチングに基づく揚力モデリングフレームワーク
- Authors: Chang Sun, Qianying Li, Guanxiang Wang, Sihao Xu, Yitong Liu
- Abstract要約: 昇降モデリングは、個人に対する治療効果を推定することを目的としている。
木に基づく手法は増分と一般化に適しており、ニューラルネットベースのモデルは絶対値と精度の予測に優れている。
本稿では,知識蒸留とサンプルマッチング(KDSM)に基づくアップリフトモデリングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 2.036924568983982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uplift modeling aims to estimate the treatment effect on individuals, widely
applied in the e-commerce platform to target persuadable customers and maximize
the return of marketing activities. Among the existing uplift modeling methods,
tree-based methods are adept at fitting increment and generalization, while
neural-network-based models excel at predicting absolute value and precision,
and these advantages have not been fully explored and combined. Also, the lack
of counterfactual sample pairs is the root challenge in uplift modeling. In
this paper, we proposed an uplift modeling framework based on Knowledge
Distillation and Sample Matching (KDSM). The teacher model is the uplift
decision tree (UpliftDT), whose structure is exploited to construct
counterfactual sample pairs, and the pairwise incremental prediction is treated
as another objective for the student model. Under the idea of multitask
learning, the student model can achieve better performance on generalization
and even surpass the teacher. Extensive offline experiments validate the
universality of different combinations of teachers and student models and the
superiority of KDSM measured against the baselines. In online A/B testing, the
cost of each incremental room night is reduced by 6.5\%.
- Abstract(参考訳): uplift modelingは個人に対する治療効果を見積もることを目的としており、eコマースプラットフォームにおいて、説得力のある顧客をターゲットとし、マーケティング活動の再開を最大化するために広く適用されている。
既存のアップリフトモデリング手法では、木ベースの手法はインクリメントと一般化に適しており、ニューラルネットワークベースのモデルは絶対値と精度の予測に優れている。
また、逆実例ペアの欠如は、アップリフトモデリングの根本的課題である。
本稿では,知識蒸留とサンプルマッチング(KDSM)に基づくアップリフトモデリングフレームワークを提案する。
教師モデルはアップリフト決定木(UpliftDT)であり、その構造を利用して対実的なサンプルペアを構築し、対角的な漸進予測を学生モデルの別の目的として扱う。
マルチタスク学習の概念の下では、学生モデルは一般化におけるより良いパフォーマンスを達成でき、教師を超越することもできる。
広範なオフライン実験は、教師と学生モデルの異なる組み合わせの普遍性と、ベースラインに対して測定されたkdsmの優越性を検証する。
オンラインA/Bテストでは、各インクリメンタルルームナイトのコストは6.5\%削減される。
関連論文リスト
- Enhancing One-Shot Federated Learning Through Data and Ensemble
Co-Boosting [76.64235084279292]
ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。
合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
論文 参考訳(メタデータ) (2024-02-23T03:15:10Z) - DMT: Comprehensive Distillation with Multiple Self-supervised Teachers [27.037140667247208]
プレトレーニングモデル圧縮のためのDMT(Comprehensive Distillation with Multiple Self-supervised Teachers)を提案する。
評価実験の結果,提案手法は最先端の競合相手を大きく上回っていることがわかった。
論文 参考訳(メタデータ) (2023-12-19T08:31:30Z) - UTBoost: A Tree-boosting based System for Uplift Modeling [6.915863353204588]
アップリフトモデリング(アップリフトモデリング)とは、マネージャが顧客のアップリフトを見積もるのに使用できる一連の機械学習技術を指す。
そこで本研究では,GBDT(Gradient Boosting Decision Trees)アルゴリズムの2つの革新的適応法を提案する。
大規模データセットを用いた実験により,提案手法の有用性が示された。
論文 参考訳(メタデータ) (2023-12-05T08:41:23Z) - Uplift Modeling based on Graph Neural Network Combined with Causal
Knowledge [9.005051998738134]
本稿では、因果知識と昇降値の見積を組み合わせたグラフニューラルネットワークに基づくフレームワークを提案する。
本手法は, 典型的なシミュレーションデータに小さな誤差を伴って, 昇降値の予測に有効であることを示す。
論文 参考訳(メタデータ) (2023-11-14T07:21:00Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95~97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳(メタデータ) (2023-01-27T22:04:37Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳(メタデータ) (2022-11-21T03:09:42Z) - Model Uncertainty-Aware Knowledge Amalgamation for Pre-Trained Language
Models [37.88287077119201]
PLMのための新しいモデル再利用パラダイムであるKnowledge Amalgamation(KA)を提案する。
KAは、人間のアノテーションを使用せずに、異なる分類問題に特化している異なる教師-PLMの知識を、汎用的な学生モデルにマージすることを目的としている。
実験の結果,MUKAはベンチマークデータセットのベースラインよりも大幅に改善されていることがわかった。
論文 参考訳(メタデータ) (2021-12-14T12:26:24Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳(メタデータ) (2021-10-07T11:58:35Z) - Ensemble Knowledge Distillation for CTR Prediction [46.92149090885551]
我々は知識蒸留(KD)に基づく新しいモデルトレーニング戦略を提案する。
KDは、教師モデルから学んだ知識を学生モデルに移すための教師学生学習フレームワークである。
本稿では,教師のゲーティングや蒸留損失による早期停止など,CTR予測のアンサンブル化を促進する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-11-08T23:37:58Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳(メタデータ) (2020-11-01T18:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。