論文の概要: RAT: Retrieval-Augmented Transformer for Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2404.02249v2
• Date: Fri, 5 Apr 2024 02:13:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 11:37:03.529086
• Title: RAT: Retrieval-Augmented Transformer for Click-Through Rate Prediction
• Title（参考訳）: RAT:クリックスルーレート予測のための検索拡張変圧器
• Authors: Yushen Li, Jinpeng Wang, Tao Dai, Jieming Zhu, Jun Yuan, Rui Zhang, Shu-Tao Xia,
• Abstract要約: 本稿では, 試料内および試料間における微細な特徴相互作用の獲得を目的とした検索-拡張変換器(RAT)を開発した。 次に、トランスフォーマー層をカスケードされた注意で構築し、イントラサンプルとクロスサンプルの両方の機能インタラクションをキャプチャします。 実世界のデータセットの実験は、RATの有効性を裏付け、ロングテールシナリオにおいてその利点を示唆している。
• 参考スコア（独自算出の注目度）: 68.34355552090103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting click-through rates (CTR) is a fundamental task for Web applications, where a key issue is to devise effective models for feature interactions. Current methodologies predominantly concentrate on modeling feature interactions within an individual sample, while overlooking the potential cross-sample relationships that can serve as a reference context to enhance the prediction. To make up for such deficiency, this paper develops a Retrieval-Augmented Transformer (RAT), aiming to acquire fine-grained feature interactions within and across samples. By retrieving similar samples, we construct augmented input for each target sample. We then build Transformer layers with cascaded attention to capture both intra- and cross-sample feature interactions, facilitating comprehensive reasoning for improved CTR prediction while retaining efficiency. Extensive experiments on real-world datasets substantiate the effectiveness of RAT and suggest its advantage in long-tail scenarios. The code has been open-sourced at \url{https://github.com/YushenLi807/WWW24-RAT}.
• Abstract（参考訳）: クリックスルー率(CTR)の予測は、Webアプリケーションにとって基本的なタスクであり、そこでは、機能相互作用の効果的なモデルを作成することが重要な課題である。 現在の方法論は、主に個々のサンプル内の特徴的相互作用をモデル化することに集中しているが、予測を強化するための参照コンテキストとして機能する可能性のある、潜在的にサンプル間の関係を見越している。 このような欠陥を補うために, 試料内および試料間における微細な特徴相互作用の獲得を目的とした検索・拡張変換器 (RAT) を開発した。 類似したサンプルを検索することで,各対象サンプルに対する付加的な入力を構築する。 次にトランスフォーマー層を構築し,CTR予測を改善するための総合的推論を容易にするとともに,効率の維持を図る。 実世界のデータセットに関する大規模な実験は、RATの有効性を裏付け、ロングテールシナリオにおいてその利点を示唆している。 コードは \url{https://github.com/YushenLi807/WWW24-RAT} でオープンソース化された。

関連論文リスト

• Structured Click Control in Transformer-based Interactive Segmentation [36.49641677493008]
  グラフニューラルネットワークに基づく構造化クリックインテントモデルを提案する。 グラフノードは、構造化されたインタラクション機能を得るために集約される。 デュアル・クロス・アテンションは、構造化された相互作用機能を視覚変換器に注入するために使用される。
  論文  参考訳（メタデータ） (2024-05-07T04:57:25Z)
• A Manifold Representation of the Key in Vision Transformers [8.938418994111716]
  本稿では、キーをクエリと値から切り離し、キーの多様体表現を採用するという概念について検討する。 実験の結果,鍵を多様体構造で切り離して付与することで,モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-02-01T12:01:43Z)
• MAP: A Model-agnostic Pretraining Framework for Click-through Rate Prediction [39.48740397029264]
  本稿では,多分野分類データに特徴的破損と回復を適用したMAP(Model-Agnostic Pretraining)フレームワークを提案する。 マスク付き特徴予測(RFD)と代替特徴検出(RFD)の2つの実用的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-08-03T12:55:55Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Towards Data-Efficient Detection Transformers [77.43470797296906]
  我々は、ほとんどの検出トランスフォーマーが、小さなデータセットで大きなパフォーマンス低下に悩まされていることを示す。 我々はデータ効率に影響を与える要因を、データ効率のRCNNから代表DETRへのステップバイステップ遷移によって実証的に分析する。 本稿では,よりリッチな監視とデータ効率向上を目的とした,シンプルながら効果的なラベル拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-03-17T17:56:34Z)
• Masked Transformer for Neighhourhood-aware Click-Through Rate Prediction [74.52904110197004]
  本稿では,近隣相互作用に基づくCTR予測を提案し,そのタスクを異種情報ネットワーク(HIN)設定に組み込む。 周辺地域の表現を高めるために,ノード間のトポロジカルな相互作用を4種類検討する。 本研究では,2つの実世界のデータセットに関する総合的な実験を行い,提案手法が最先端のCTRモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2022-01-25T12:44:23Z)
• Online Interaction Detection for Click-Through Rate Prediction [0.0]
  そこで我々は,オンラインランダム・インターセクション・チェーンと呼ばれる新しいインタラクション検出手法を提案する。 ORICはランダムに選択されたサンプルの交点を観察して情報的相互作用を検出する。 ORICは、新しいデータが収集されるたびに更新されるが、過去のデータで再トレーニングされることはない。 フレームワークはストリーミングインタラクションを扱うように設計されているため、既存のCTR予測モデルのほとんどは、インタラクション検出後に適用することができる。
  論文  参考訳（メタデータ） (2021-06-27T06:34:03Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。