論文の概要: Unleashing the Potential of Two-Tower Models: Diffusion-Based Cross-Interaction for Large-Scale Matching

• arxiv url: http://arxiv.org/abs/2502.20687v1
• Date: Fri, 28 Feb 2025 03:40:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:42:52.086192
• Title: Unleashing the Potential of Two-Tower Models: Diffusion-Based Cross-Interaction for Large-Scale Matching
• Title（参考訳）: 2-towerモデルの可能性の解き放つ:大規模マッチングのための拡散に基づく相互相互作用
• Authors: Yihan Wang, Fei Xiong, Zhexin Han, Qi Song, Kaiqiao Zhan, Ben Wang,
• Abstract要約: 2towerモデルは、幅広いアプリケーション領域にわたる産業規模のマッチング段階で広く採用されている。 マッチングパラダイム内での"クロスインタラクションデカップリングアーキテクチャ"を提案する。
• 参考スコア（独自算出の注目度）: 25.672699790866726
• License:
• Abstract: Two-tower models are widely adopted in the industrial-scale matching stage across a broad range of application domains, such as content recommendations, advertisement systems, and search engines. This model efficiently handles large-scale candidate item screening by separating user and item representations. However, the decoupling network also leads to a neglect of potential information interaction between the user and item representations. Current state-of-the-art (SOTA) approaches include adding a shallow fully connected layer(i.e., COLD), which is limited by performance and can only be used in the ranking stage. For performance considerations, another approach attempts to capture historical positive interaction information from the other tower by regarding them as the input features(i.e., DAT). Later research showed that the gains achieved by this method are still limited because of lacking the guidance on the next user intent. To address the aforementioned challenges, we propose a "cross-interaction decoupling architecture" within our matching paradigm. This user-tower architecture leverages a diffusion module to reconstruct the next positive intention representation and employs a mixed-attention module to facilitate comprehensive cross-interaction. During the next positive intention generation, we further enhance the accuracy of its reconstruction by explicitly extracting the temporal drift within user behavior sequences. Experiments on two real-world datasets and one industrial dataset demonstrate that our method outperforms the SOTA two-tower models significantly, and our diffusion approach outperforms other generative models in reconstructing item representations.
• Abstract（参考訳）: 2towerモデルは、コンテンツレコメンデーション、広告システム、検索エンジンなど、幅広いアプリケーション領域にわたる産業規模のマッチング段階で広く採用されている。 このモデルは、ユーザとアイテム表現を分離することで、大規模候補項目のスクリーニングを効率的に処理する。 しかし、デカップリングネットワークはまた、ユーザとアイテム表現の間の潜在的な情報相互作用を無視する。 現在のSOTA(State-of-the-art)アプローチには、パフォーマンスによって制限され、ランキング段階でのみ使用できる浅い完全連結層(COLD)の追加が含まれる。 性能を考慮した別の手法は、入力特徴(例えば、DAT)として、他のタワーからの歴史的正の相互作用情報をキャプチャしようとするものである。 その後の研究では、次のユーザ意図に関するガイダンスが欠如していることから、この方法によって得られる利益は依然として限られていることが判明した。 上記の課題に対処するため、マッチングパラダイム内での"クロスインタラクションデカップリングアーキテクチャ"を提案する。 このユーザ・トウワー・アーキテクチャは拡散モジュールを利用して次のポジティブな意図表現を再構築し、混合アテンション・モジュールを用いて包括的な相互作用を容易にする。 次のポジティブな意図生成において、ユーザの行動シーケンス内の時間的ドリフトを明示的に抽出することにより、その再構築の精度をさらに高める。 2つの実世界のデータセットと1つの産業データセットの実験により、我々の手法はSOTAの2towerモデルよりも優れており、拡散法はアイテム表現の再構築において他の生成モデルよりも優れていることが示された。

関連論文リスト

• MixRec: Heterogeneous Graph Collaborative Filtering [21.96510707666373]
  そこで本稿では,MixRecを用いたグラフ協調フィルタリングモデルを提案する。 本モデルでは,意図的不整合とマルチビヘイビア・モデリングを取り入れてこれを実現している。 また、自己教師付きデータ拡張の利点を適応的に探求する、新しいコントラスト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-12-18T13:12:36Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Generative Diffusion Models for Sequential Recommendations [7.948486055890262]
  変分オートエンコーダ(VAE)やGAN(Generative Adversarial Networks)のような生成モデルは、逐次レコメンデーションタスクにおいて有望であることを示している。 本研究では、ロバスト性を改善するためにDiffuRecアーキテクチャの拡張を導入し、関連するユーザとイテムのインタラクションをよりよく捉えるために、Approximatorにクロスアテンション機構を組み込んだ。
  論文  参考訳（メタデータ） (2024-10-25T09:39:05Z)
• Collaborative Filtering Based on Diffusion Models: Unveiling the Potential of High-Order Connectivity [10.683635786183894]
  CF-Diffは新しい拡散モデルに基づく協調フィルタリング手法である。 マルチホップの隣人と一緒に、協調的な信号を完全に活用することができる。 最高の競争相手に比べて7.29%も上昇している。
  論文  参考訳（メタデータ） (2024-04-22T14:49:46Z)
• Beyond Two-Tower Matching: Learning Sparse Retrievable Cross-Interactions for Recommendation [80.19762472699814]
  2-towerモデルは、産業アプリケーションに広くデプロイされている推奨のための一般的なマッチングフレームワークである。 機能間相互作用の制限と、オンラインサービスにおける精度の低下など、主な課題が2つある。 我々は,高度な機能相互作用だけでなく,効率的な検索もサポートするSparCodeという新しいマッチングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:13:36Z)
• Feature Decoupling-Recycling Network for Fast Interactive Segmentation [79.22497777645806]
  近年のインタラクティブセグメンテーション手法では,入力としてソースイメージ,ユーザガイダンス,従来予測されていたマスクを反復的に取り込んでいる。 本稿では,本質的な相違点に基づいてモデリングコンポーネントを分離するFDRN(Feature Decoupling-Recycling Network)を提案する。
  論文  参考訳（メタデータ） (2023-08-07T12:26:34Z)
• Local Consensus Enhanced Siamese Network with Reciprocal Loss for Two-view Correspondence Learning [35.5851523517487]
  2視点対応学習は通常、一致の信頼性と相対的なポーズを共同で予測するエンドツーエンドネットワークを確立する。 本稿では,既存のモデルの特徴を増強するローカル・フィーチャー・コンセンサス (LFC) プラグイン・ブロックを提案する。 我々は既存のモデルを相互予測の監督を生かした相互損失を伴うシームズネットワークに拡張する。
  論文  参考訳（メタデータ） (2023-08-06T22:20:09Z)
• Masked Transformer for Neighhourhood-aware Click-Through Rate Prediction [74.52904110197004]
  本稿では,近隣相互作用に基づくCTR予測を提案し,そのタスクを異種情報ネットワーク(HIN)設定に組み込む。 周辺地域の表現を高めるために,ノード間のトポロジカルな相互作用を4種類検討する。 本研究では,2つの実世界のデータセットに関する総合的な実験を行い,提案手法が最先端のCTRモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2022-01-25T12:44:23Z)
• DCAP: Deep Cross Attentional Product Network for User Response Prediction [20.17934000984361]
  我々はDCAP(Deep Cross Attentional Product Network)という新しいアーキテクチャを提案する。 DCAPは、高階機能相互作用をベクトルレベルで明示的にモデリングするクロスネットワークの利点を維持します。 提案モデルは容易に実装でき,並行して訓練できる。
  論文  参考訳（メタデータ） (2021-05-18T16:27:20Z)
• Hierarchical Modeling for Out-of-Scope Domain and Intent Classification [55.23920796595698]
  本稿では,対話システムにおけるスコープ外意図分類に焦点をあてる。 ドメインとインテントを同時に分類する共同モデルに基づく階層型マルチタスク学習手法を提案する。 実験により、モデルが既存の手法よりも精度、スコープ外リコール、F1で優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-30T06:38:23Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。