論文の概要: Retrieval-Oriented Knowledge for Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2404.18304v1
• Date: Sun, 28 Apr 2024 20:21:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 15:06:26.219513
• Title: Retrieval-Oriented Knowledge for Click-Through Rate Prediction
• Title（参考訳）: クリックスルーレート予測のための検索指向知識
• Authors: Huanshuo Liu, Bo Chen, Menghui Zhu, Jianghao Lin, Jiarui Qin, Yang Yang, Hao Zhang, Ruiming Tang,
• Abstract要約: 本稿では,汎用的なプラグ・アンド・プレイ・リトリーバル・オリエント・ナレッジ(ROK)フレームワークを提案する。 検索指向の埋め込み層と知識エンコーダからなる知識ベースは、検索および集約された表現を保存および模倣するために設計されている。 3つの大規模データセットの実験により、ROKは検索ベースのCTRモデルと競合する性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 29.55757862617378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Click-through rate (CTR) prediction plays an important role in personalized recommendations. Recently, sample-level retrieval-based models (e.g., RIM) have achieved remarkable performance by retrieving and aggregating relevant samples. However, their inefficiency at the inference stage makes them impractical for industrial applications. To overcome this issue, this paper proposes a universal plug-and-play Retrieval-Oriented Knowledge (ROK) framework. Specifically, a knowledge base, consisting of a retrieval-oriented embedding layer and a knowledge encoder, is designed to preserve and imitate the retrieved & aggregated representations in a decomposition-reconstruction paradigm. Knowledge distillation and contrastive learning methods are utilized to optimize the knowledge base, and the learned retrieval-enhanced representations can be integrated with arbitrary CTR models in both instance-wise and feature-wise manners. Extensive experiments on three large-scale datasets show that ROK achieves competitive performance with the retrieval-based CTR models while reserving superior inference efficiency and model compatibility.
• Abstract（参考訳）: クリックスルー率(CTR)予測は、パーソナライズされたレコメンデーションにおいて重要な役割を果たす。 近年,サンプルレベルの検索ベースモデル(RIMなど)は,関連するサンプルを検索・集約することで,優れた性能を発揮している。 しかし、その推論段階での非効率さは、産業用途には実用的ではない。 この問題を克服するために,本稿では,汎用的なプラグアンドプレイ・リトリーバル指向知識(ROK)フレームワークを提案する。 具体的には、検索指向の埋め込み層と知識エンコーダからなる知識ベースを、分解・再構成パラダイムで検索・集約された表現を保存・模倣するように設計されている。 知識蒸留法とコントラスト学習法を用いて知識ベースを最適化し、学習された検索強調表現を任意のCTRモデルとインスタンスワイドおよび特徴ワイドの両方で統合することができる。 3つの大規模データセットに対する大規模な実験により、ROKはより優れた推論効率とモデル互換性を維持しながら、検索ベースのCTRモデルと競合する性能を発揮することが示された。

関連論文リスト

• Retrieval Instead of Fine-tuning: A Retrieval-based Parameter Ensemble for Zero-shot Learning [22.748835458594744]
  Retrievalをベースとする。 Ensemble (RPE) - ベクトル化されたデータベースを作成する新しい方法。 Low-Rank Adaptations (LoRA) RPEは、広範囲なトレーニングの必要性を最小限に抑え、ラベル付きデータの要求を排除し、特にゼロショット学習に有効である。 RPEは、生のデータにアクセスせずにモデルパラメータを変更するため、ヘルスケアのようなプライバシに敏感なドメインに適している。
  論文  参考訳（メタデータ） (2024-10-13T16:28:38Z)
• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning [12.197327462627912]
  EFCIL(Exemplar-free class-incremental Learning)のための表現強化分析学習(REAL)を提案する。 REALは、二重ストリームベース事前訓練(DS-BPT)および表現強化蒸留(RED)プロセスを構築し、抽出器の表現を強化する。 本手法は,既存のALベースCILの凍結バックボーンによって引き起こされる未確認データの表現において,識別性が不十分な問題に対処する。
  論文  参考訳（メタデータ） (2024-03-20T11:48:10Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• ReConTab: Regularized Contrastive Representation Learning for Tabular Data [8.178223284255791]
  コントラスト学習を正規化した深層自動表現学習フレームワークReConTabを紹介する。 ReConTabは、どんな種類のモデリングタスクにも依存せず、モデル入力から同じ生のフィーチャに基づいて非対称のオートエンコーダを構築する。 大規模な実世界のデータセットで実施された実験は、フレームワークのキャパシティを裏付け、実質的でロバストなパフォーマンス改善をもたらす。
  論文  参考訳（メタデータ） (2023-10-28T00:05:28Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Probabilistic Case-based Reasoning for Open-World Knowledge Graph Completion [59.549664231655726]
  ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。 本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。 提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
  論文  参考訳（メタデータ） (2020-10-07T17:48:12Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。