論文の概要: Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2005.12981v1
• Date: Fri, 22 May 2020 04:02:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 08:39:30.952349
• Title: Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction
• Title（参考訳）: クリックスルーレート予測のための階層的注意ネットワークによる深い関心
• Authors: Weinan Xu, Hengxu He, Minshi Tan, Yunming Li, Jun Lang, Dongbai Guo
• Abstract要約: ディープ・関心ネットワーク(Deep Interest Network, DIN)は、過去の行動からユーザーの興味を捉えるための注意機構を用いた最先端のモデルである。 我々は、任意の利害階層をモデル化するためのDINに対する改善を提案する:階層型注意ネットワーク(DHAN)を用いたディープ・インテンシブ・ネットワーク(Deep Interest with Hierarchical Attention Network)。
• 参考スコア（独自算出の注目度）: 3.6397167562976804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Interest Network (DIN) is a state-of-the-art model which uses attention mechanism to capture user interests from historical behaviors. User interests intuitively follow a hierarchical pattern such that users generally show interests from a higher-level then to a lower-level abstraction. Modeling such an interest hierarchy in an attention network can fundamentally improve the representation of user behaviors. We, therefore, propose an improvement over DIN to model arbitrary interest hierarchy: Deep Interest with Hierarchical Attention Network (DHAN). In this model, a multi-dimensional hierarchical structure is introduced on the first attention layer which attends to an individual item, and the subsequent attention layers in the same dimension attend to higher-level hierarchy built on top of the lower corresponding layers. To enable modeling of multiple dimensional hierarchies, an expanding mechanism is introduced to capture one to many hierarchies. This design enables DHAN to attend different importance to different hierarchical abstractions thus can fully capture user interests at different dimensions (e.g. category, price, or brand).To validate our model, a simplified DHAN has applied to Click-Through Rate (CTR) prediction and our experimental results on three public datasets with two levels of the one-dimensional hierarchy only by category. It shows the superiority of DHAN with significant AUC uplift from 12% to 21% over DIN. DHAN is also compared with another state-of-the-art model Deep Interest Evolution Network (DIEN), which models temporal interest. The simplified DHAN also gets slight AUC uplift from 1.0% to 1.7% over DIEN. A potential future work can be a combination of DHAN and DIEN to model both temporal and hierarchical interests.
• Abstract（参考訳）: deep interest network (din) は、過去の行動からユーザーの興味を捉えるために注意機構を使用する最先端のモデルである。 ユーザの興味は直感的に階層的なパターンに従い、ユーザは一般的に、上位レベルから下位レベルの抽象化への関心を示す。 このような関心階層を注目ネットワークでモデル化することで、ユーザ行動の表現を根本的に改善することができる。 そこで我々は,dhan (deep interest with hierarchical attention network) を用いて,任意の関心階層をモデル化するdinの改良を提案する。 このモデルでは、各項目に付随する第1の注意層上に多次元階層構造を導入し、その後、同一次元の注意層は、下位の対応層の上に構築された上位階層に付随する。 多次元階層のモデリングを可能にするため、複数の階層を捕捉する拡張機構を導入する。 この設計により、DHANは異なる階層的な抽象化に異なる重要性を欠くことができ、異なる次元(例えば、カテゴリ、価格、ブランド)でユーザーの興味を完全に捉えることができる。 このモデルを検証するために,1次元階層の2つのレベルを持つ3つの公開データセットのクリックスルー率(ctr)予測と実験結果に適用した。 DHANはDINよりも12%から21%のAUC上昇を示した。 DHANはまた、時間的関心をモデル化する別の最先端モデルDeep Interest Evolution Network (DIEN)と比較される。 単純化されたDHANは、DIENよりも1.0%から1.7%にわずかにAUCが上昇する。 DHANとDIENを組み合わせることで、時間的および階層的な関心の両方をモデル化することができる。

関連論文リスト

• A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
  自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。 自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
  論文  参考訳（メタデータ） (2024-06-19T19:11:22Z)
• Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling [4.190836962132713]
  本稿では,従来の注意機構の2次複雑さに対処する新しいアーキテクチャであるOrchidを紹介する。 このアーキテクチャのコアには、新しいデータ依存のグローバル畳み込み層があり、入力シーケンスに条件付きカーネルを文脈的に適応させる。 言語モデリングや画像分類など,複数の領域にまたがるモデルの評価を行い,その性能と汎用性を強調した。
  論文  参考訳（メタデータ） (2024-02-28T17:36:45Z)
• HIORE: Leveraging High-order Interactions for Unified Entity Relation Extraction [85.80317530027212]
  本稿では,統合エンティティ関係抽出のための新しい手法であるHIOREを提案する。 重要な洞察は、単語ペア間の複雑な関連を活用することである。 実験の結果,HIOREは従来最高の統一モデルよりも1.11.8 F1ポイント向上した。
  論文  参考訳（メタデータ） (2023-05-07T14:57:42Z)
• Improving Information Cascade Modeling by Social Topology and Dual Role User Dependency [3.3497820777154614]
  我々は、TAN-DRUD (Topology-aware Attention Networks with Dual Role User Dependency) という名前の非シーケンス情報カスケードモデルを提案する。 TAN-DRUDは、情報送信者と受信者の二重ロールユーザ依存性をキャプチャすることで、情報カスケードモデリングにおける良好な性能を得る。 3つのカスケードデータセットに対する実験により、我々のモデルは最先端のカスケードモデルよりも優れているだけでなく、トポロジー情報を利用して拡散木を推定できることを示した。
  論文  参考訳（メタデータ） (2022-04-07T14:26:33Z)
• Multi-level Second-order Few-shot Learning [111.0648869396828]
  教師付きまたは教師なしの少数ショット画像分類と少数ショット動作認識のためのマルチレベル2次数列学習ネットワーク(MlSo)を提案する。 我々は、パワーノーマライズされた二階学習者ストリームと、複数のレベルの視覚的抽象化を表現する機能を組み合わせた、いわゆる2階学習者ストリームを活用している。 我々は,Omniglot, mini-ImageNet, tiered-ImageNet, Open MIC, CUB Birds, Stanford Dogs, Cars, HMDB51, UCF101, mini-MITなどのアクション認識データセットなどの標準データセットに対して,優れた結果を示す。
  論文  参考訳（メタデータ） (2022-01-15T19:49:00Z)
• Multiple Interest and Fine Granularity Network for User Modeling [3.508126539399186]
  ユーザモデリングは、カスタマエクスペリエンスとビジネス収益の両方の観点から、マッチングステージとランキングステージの両方において、産業レコメンデータシステムにおいて、基本的な役割を果たす。 既存のディープラーニングベースのアプローチのほとんどは、アイテムIDとカテゴリIDを活用するが、色やメイトリアルのようなきめ細かい特徴は無視し、ユーザの興味の細かい粒度をモデル化するのを妨げる。 本稿では,ユーザの多目的・細粒度に対処する多目的・細粒度ネットワーク(MFN)を提案し,ユーザの多目的間の類似性関係と組み合わせ関係からモデルを構築した。
  論文  参考訳（メタデータ） (2021-12-05T15:12:08Z)
• Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [140.18376685167857]
  スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。 MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-11-07T03:50:50Z)
• Modeling Heterogeneous Hierarchies with Relation-specific Hyperbolic Cones [64.75766944882389]
  知識グラフにおける複数の階層的および非階層的関係を同時にモデル化できるKG埋め込みモデルであるConE(Cone Embedding)を提案する。 特に、ConEは双曲埋め込み空間の異なる部分空間における円錐包含制約を用いて、複数の異種階層をキャプチャする。 我々のアプローチでは、WN18RRで45.3%、DDB14で16.1%の新しい最先端hits@1が得られる(0.231 MRR)。
  論文  参考訳（メタデータ） (2021-10-28T07:16:08Z)
• Hierarchical Domain-Adapted Feature Learning for Video Saliency Prediction [15.270499225813841]
  本稿では,ビデオ・サリエンシ予測のための3次元完全畳み込みアーキテクチャを提案する。 ドメイン適応とドメイン固有学習の2つの手法を用いて,基本階層学習機構を提供する。 実験の結果,提案モデルにより,教師付きサリエンシ予測における最先端の精度が得られた。
  論文  参考訳（メタデータ） (2020-10-02T23:00:00Z)
• Hierarchical Bi-Directional Feature Perception Network for Person Re-Identification [12.259747100939078]
  過去の人物再同定(Re-ID)モデルは、画像の最も識別性の高い領域に焦点を当てることを目的としている。 本稿では,階層型双方向特徴知覚ネットワーク (HBFP-Net) という新しいモデルを提案する。 Market-1501, CUHK03, DukeMTMC-ReIDデータセットなどの主要な評価実験により, 提案手法が最近のSOTA Re-IDモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2020-08-08T12:33:32Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。