論文の概要: AutoAttention: Automatic Field Pair Selection for Attention in User Behavior Modeling

• arxiv url: http://arxiv.org/abs/2210.15154v1
• Date: Thu, 27 Oct 2022 03:43:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 15:06:07.435760
• Title: AutoAttention: Automatic Field Pair Selection for Attention in User Behavior Modeling
• Title（参考訳）: 自動注意:ユーザ行動モデリングにおける注意のためのフィールドペア選択
• Authors: Zuowu Zheng, Xiaofeng Gao, Junwei Pan, Qi Luo, Guihai Chen, Dapeng Liu, Jie Jiang
• Abstract要約: 本稿では,すべての項目/ユーザ/コンテキストフィールドをクエリとして含むAutoAttentionという新しいモデルを提案する。 AutoAttentionのコストは、単純な注意関数とフィールドペアの選択を使用するため、依然として低い。
• 参考スコア（独自算出の注目度）: 42.91510033090672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Click-through rate (CTR) prediction models, a user's interest is usually represented as a fixed-length vector based on her history behaviors. Recently, several methods are proposed to learn an attentive weight for each user behavior and conduct weighted sum pooling. However, these methods only manually select several fields from the target item side as the query to interact with the behaviors, neglecting the other target item fields, as well as user and context fields. Directly including all these fields in the attention may introduce noise and deteriorate the performance. In this paper, we propose a novel model named AutoAttention, which includes all item/user/context side fields as the query, and assigns a learnable weight for each field pair between behavior fields and query fields. Pruning on these field pairs via these learnable weights lead to automatic field pair selection, so as to identify and remove noisy field pairs. Though including more fields, the computation cost of AutoAttention is still low due to using a simple attention function and field pair selection. Extensive experiments on the public dataset and Tencent's production dataset demonstrate the effectiveness of the proposed approach.
• Abstract（参考訳）: クリックスルー率(CTR)予測モデルでは、ユーザーの興味は通常、履歴行動に基づいて固定長ベクトルとして表現される。 近年,各ユーザ行動の注意重みを学習し,重み付き総和プールを行う手法が提案されている。 しかし、これらのメソッドは、振る舞いとやりとりするためのクエリとして、ターゲットアイテム側からいくつかのフィールドを手動で選択するだけで、他のターゲットアイテムフィールドやユーザーおよびコンテキストフィールドを無視する。 注意にこれらのフィールドを全て含むとノイズが発生し、パフォーマンスが低下する可能性がある。 本稿では,すべての項目/ユーザ/コンテキスト側フィールドをクエリとして含むAutoAttentionという新しいモデルを提案し,動作フィールドとクエリフィールド間の各フィールドペアに対して学習可能な重みを割り当てる。 これらの学習可能な重みを通したフィールドペアのプルーニングは、ノイズのあるフィールドペアを識別および除去するために、自動フィールドペア選択につながる。 多くのフィールドを含むが、単純な注意関数とフィールドペア選択を用いることにより、AutoAttentionの計算コストは依然として低い。 パブリックデータセットとtencentのプロダクションデータセットに関する広範な実験は、提案手法の有効性を示している。

関連論文リスト

• NTrack: A Multiple-Object Tracker and Dataset for Infield Cotton Boll Counting [9.631429004308576]
  NTrackは、隣接するトラックの位置間の線形関係に基づく、新しいマルチオブジェクト追跡フレームワークである。 NTrackは高密度光フローを計算し、粒子フィルタリングを用いて各トラッカーを誘導する。 本研究は,内野綿棒の追跡・数え方に対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-12-18T04:14:42Z)
• Neighbor Based Enhancement for the Long-Tail Ranking Problem in Video Rank Models [0.0]
  本稿では,対象ユーザや項目の表現のトレーニングを支援する新しい隣人拡張構造を提案する。 有名な公開データセットMovieLens 1Mの実験は、この手法の効率を実証している。
  論文  参考訳（メタデータ） (2023-02-16T07:38:51Z)
• End-to-end Tracking with a Multi-query Transformer [96.13468602635082]
  マルチオブジェクトトラッキング(MOT)は、時間とともにシーン内のオブジェクトの位置、外観、アイデンティティを同時に推論する必要がある課題である。 本研究の目的は、トラッキング・バイ・ディテクト・アプローチを超えて、未知のオブジェクト・クラスに対してもよく機能するクラスに依存しないトラッキングへと移行することである。
  論文  参考訳（メタデータ） (2022-10-26T10:19:37Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Just Label What You Need: Fine-Grained Active Selection for Perception and Prediction through Partially Labeled Scenes [78.23907801786827]
  提案手法は,コストに配慮した手法と,部分的にラベル付けされたシーンを通じて詳細なサンプル選択を可能にする一般化を導入している。 実世界の大規模自動運転データセットに関する我々の実験は、微粒な選択が知覚、予測、下流計画タスクのパフォーマンスを向上させることを示唆している。
  論文  参考訳（メタデータ） (2021-04-08T17:57:41Z)
• AutoDis: Automatic Discretization for Embedding Numerical Features in CTR Prediction [45.69943728028556]
  高度な機能相互作用の学習は、レコメンデータシステムにおけるClick-Through Rate(CTR)予測に不可欠である。 様々な深いCTRモデルは、埋め込みとフィーチャーインタラクションのパラダイムに従います。 数値フィールドの特徴を自動的に識別し、エンドツーエンドでCTRモデルに最適化するフレームワークであるAutoDisを提案します。
  論文  参考訳（メタデータ） (2020-12-16T14:31:31Z)
• Non-Linear Multiple Field Interactions Neural Document Ranking [3.1655082949518527]
  2つの異なるデータセットにおいて、複数のフィールドランク付けのためのフィールドインタラクションの詳細な分析の1つを提示する。 この研究は、クエリフィールドの相互作用、非線形フィールドの相互作用、基礎となるニューラルネットワークのアーキテクチャがパフォーマンスにどのように影響するかを示すために、以前の分析に基づいて構築される。
  論文  参考訳（メタデータ） (2020-11-18T23:13:33Z)
• Improving Attention Mechanism with Query-Value Interaction [92.67156911466397]
  本稿では,問合せ対応の注目値を学習可能な問合せ-値相互作用関数を提案する。 我々のアプローチは、多くの注意に基づくモデルの性能を一貫して改善することができる。
  論文  参考訳（メタデータ） (2020-10-08T05:12:52Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。