論文の概要: Retrieval-Oriented Knowledge for Click-Through Rate Prediction
- arxiv url: http://arxiv.org/abs/2404.18304v2
- Date: Thu, 03 Oct 2024 20:14:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:06:40.824145
- Title: Retrieval-Oriented Knowledge for Click-Through Rate Prediction
- Title（参考訳）: クリックスルーレート予測のための検索指向知識
- Authors: Huanshuo Liu, Bo Chen, Menghui Zhu, Jianghao Lin, Jiarui Qin, Yang Yang, Hao Zhang, Ruiming Tang,
- Abstract要約: クリックスルー率(CTR)予測は、パーソナライズされたオンラインサービスにとって不可欠である。
underlineretrieval-underlineoriented underlineknowledge(bfname)フレームワークは、実際の検索プロセスをバイパスする。
nameは、検索および集約された表現を保存および模倣する知識ベースを特徴とする。
- 参考スコア（独自算出の注目度）: 29.55757862617378
- License:
- Abstract: Click-through rate (CTR) prediction is crucial for personalized online services. Sample-level retrieval-based models, such as RIM, have demonstrated remarkable performance. However, they face challenges including inference inefficiency and high resource consumption due to the retrieval process, which hinder their practical application in industrial settings. To address this, we propose a universal plug-and-play \underline{r}etrieval-\underline{o}riented \underline{k}nowledge (\textbf{\name}) framework that bypasses the real retrieval process. The framework features a knowledge base that preserves and imitates the retrieved \& aggregated representations using a decomposition-reconstruction paradigm. Knowledge distillation and contrastive learning optimize the knowledge base, enabling the integration of retrieval-enhanced representations with various CTR models. Experiments on three large-scale datasets demonstrate \name's exceptional compatibility and performance, with the neural knowledge base serving as an effective surrogate for the retrieval pool. \name surpasses the teacher model while maintaining superior inference efficiency and demonstrates the feasibility of distilling knowledge from non-parametric methods using a parametric approach. These results highlight \name's strong potential for real-world applications and its ability to transform retrieval-based methods into practical solutions. Our implementation code is available to support reproducibility in \url{https://github.com/HSLiu-Initial/ROK.git}.
- Abstract（参考訳）: クリックスルー率(CTR)予測は、パーソナライズされたオンラインサービスにとって不可欠である。
RIMのようなサンプルレベルの検索ベースモデルは顕著な性能を示した。
しかし, 産業環境での実用化を阻害する検索プロセスにより, 推論の非効率性や資源消費の増大など, 課題に直面している。
これを解決するために,実検索プロセスをバイパスする普遍的なプラグアンドプレイ型 \underline{r}etrieval-\underline{o}riented \underline{k}nowledge (\textbf{\name}) フレームワークを提案する。
このフレームワークは、分解・再構成パラダイムを用いて、検索した \& 集約表現を保存し、模倣する知識ベースを備えている。
知識蒸留とコントラスト学習は知識ベースを最適化し、検索強化表現と様々なCTRモデルの統合を可能にする。
3つの大規模なデータセットの実験では、検索プールの効果的なサロゲートとして機能する神経知識ベースによって、Shanameの例外的な互換性とパフォーマンスが実証されている。
\nameは優れた推論効率を維持しつつ教師モデルを超え、パラメトリックアプローチを用いた非パラメトリック手法による知識の蒸留の可能性を示す。
これらの結果は,実世界のアプリケーションに対するShanameの強みと,検索に基づく手法を実用的なソリューションに変換する能力を強調している。
実装コードは \url{https://github.com/HSLiu-Initial/ROK.git} で再現性をサポートしています。
関連論文リスト
- Retrieval Instead of Fine-tuning: A Retrieval-based Parameter Ensemble for Zero-shot Learning [22.748835458594744]
Retrievalをベースとする。
Ensemble (RPE) - ベクトル化されたデータベースを作成する新しい方法。
Low-Rank Adaptations (LoRA)
RPEは、広範囲なトレーニングの必要性を最小限に抑え、ラベル付きデータの要求を排除し、特にゼロショット学習に有効である。
RPEは、生のデータにアクセスせずにモデルパラメータを変更するため、ヘルスケアのようなプライバシに敏感なドメインに適している。
論文 参考訳（メタデータ） (2024-10-13T16:28:38Z) - Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。
提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
論文 参考訳（メタデータ） (2024-06-04T12:43:23Z) - CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。
最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。
CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文 参考訳（メタデータ） (2024-05-17T07:43:25Z) - REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning [12.197327462627912]
EFCIL(Exemplar-free class-incremental Learning)のための表現強化分析学習(REAL)を提案する。
REALは、二重ストリームベース事前訓練(DS-BPT)および表現強化蒸留(RED)プロセスを構築し、抽出器の表現を強化する。
本手法は,既存のALベースCILの凍結バックボーンによって引き起こされる未確認データの表現において,識別性が不十分な問題に対処する。
論文 参考訳（メタデータ） (2024-03-20T11:48:10Z) - Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。
実験結果から,本手法は既存手法よりも一貫した改善が得られた。
我々の手法はデータ効率が良く、競争のベースラインより優れています。
論文 参考訳（メタデータ） (2023-11-27T06:19:50Z) - Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in
Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。
我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文 参考訳（メタデータ） (2023-11-16T10:42:58Z) - ReConTab: Regularized Contrastive Representation Learning for Tabular
Data [8.178223284255791]
コントラスト学習を正規化した深層自動表現学習フレームワークReConTabを紹介する。
ReConTabは、どんな種類のモデリングタスクにも依存せず、モデル入力から同じ生のフィーチャに基づいて非対称のオートエンコーダを構築する。
大規模な実世界のデータセットで実施された実験は、フレームワークのキャパシティを裏付け、実質的でロバストなパフォーマンス改善をもたらす。
論文 参考訳（メタデータ） (2023-10-28T00:05:28Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Probabilistic Case-based Reasoning for Open-World Knowledge Graph
Completion [59.549664231655726]
ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。
本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。
提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
論文 参考訳（メタデータ） (2020-10-07T17:48:12Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。