論文の概要: LREA: Low-Rank Efficient Attention on Modeling Long-Term User Behaviors for CTR Prediction

• arxiv url: http://arxiv.org/abs/2503.02542v4
• Date: Thu, 08 May 2025 13:24:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 17:19:03.275411
• Title: LREA: Low-Rank Efficient Attention on Modeling Long-Term User Behaviors for CTR Prediction
• Title（参考訳）: LREA:CTR予測のための長期的ユーザ行動モデリングにおける低域効率注意
• Authors: Xin Song, Xiaochen Li, Jinxin Hu, Hong Wen, Zulong Chen, Yu Zhang, Xiaoyi Zeng, Jing Zhang,
• Abstract要約: 既存のアプローチの限界を克服する新しい注意機構であるLREAを紹介する。 LREAは、情報整合性を維持しながら注意力を維持するために特別に設計された損失関数を組み込んでいる。
• 参考スコア（独自算出の注目度）: 22.366063727224173
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the rapid growth of user historical behavior data, user interest modeling has become a prominent aspect in Click-Through Rate (CTR) prediction, focusing on learning user intent representations. However, this complexity poses computational challenges, requiring a balance between model performance and acceptable response times for online services. Traditional methods often utilize filtering techniques. These techniques can lead to the loss of significant information by prioritizing top K items based on item attributes or employing low-precision attention mechanisms. In this study, we introduce LREA, a novel attention mechanism that overcomes the limitations of existing approaches while ensuring computational efficiency. LREA leverages low-rank matrix decomposition to optimize runtime performance and incorporates a specially designed loss function to maintain attention capabilities while preserving information integrity. During the inference phase, matrix absorption and pre-storage strategies are employed to effectively meet runtime constraints. The results of extensive offline and online experiments demonstrate that our method outperforms state-of-the-art approaches.
• Abstract（参考訳）: ユーザの履歴行動データの急速な増加に伴い、ユーザ関心モデリングはクリック・スローレート(CTR)予測において顕著な側面となり、ユーザ意図の表現の学習に焦点が当てられている。 しかし、この複雑さは計算上の問題を引き起こし、オンラインサービスのモデル性能と許容応答時間の間にバランスを取る必要がある。 伝統的な方法は、しばしばフィルタリング技術を利用する。 これらの技術は、アイテム属性に基づいてトップK項目を優先順位付けしたり、低精度の注意機構を採用することで、重要な情報を失う可能性がある。 本研究では,計算効率を確保しつつ,既存のアプローチの限界を克服する新しい注意機構であるLREAを紹介する。 LREAは低ランク行列分解を利用して実行時の性能を最適化し、情報整合性を維持しながら注意力を維持するために特別に設計された損失関数を組み込む。 推論フェーズでは、実行時の制約を効果的に満たすために、行列吸収とプレストレージ戦略が使用される。 大規模なオフラインおよびオンライン実験の結果、我々の手法は最先端の手法よりも優れていることが示された。

関連論文リスト

• ExpertFlow: Optimized Expert Activation and Token Allocation for Efficient Mixture-of-Experts Inference [41.41316718220569]
  ExpertFlowは、柔軟なルーティングを調整し、CPUとGPU間の効率的な専門家スケジューリングを可能にすることで、推論効率を向上させるように設計されている。 実験により、ExpertFlowは最大93.72%のGPUメモリを節約し、ベースライン法に比べて推論速度を2～10倍に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-23T15:24:54Z)
• ELASTIC: Efficient Linear Attention for Sequential Interest Compression [5.689306819772134]
  最先端のシーケンシャルレコメンデーションモデルは、トランスフォーマーの注意機構に大きく依存している。 逐次的関心圧縮のための効率的な線形注意法であるELASTICを提案する。 我々は、様々な公開データセットに関する広範な実験を行い、それをいくつかの強力なシーケンシャルなレコメンデータと比較する。
  論文  参考訳（メタデータ） (2024-08-18T06:41:46Z)
• Faster Diffusion Action Segmentation [9.868244939496678]
  時間的行動分類(TAS)はビデオ解析において不可欠な課題であり、連続したフレームを別のアクションセグメントに分割し分類することを目的としている。 拡散モデルの最近の進歩は、安定したトレーニングプロセスと高品質な生成能力により、TASタスクにおいて大きな成功を収めている。 本稿では,効率的かつ高性能なTASアルゴリズムであるEffiDiffActを提案する。
  論文  参考訳（メタデータ） (2024-08-04T13:23:18Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• Online Tensor Inference [0.0]
  従来のオフライン学習は、各計算繰り返しにおける全てのデータの保存と利用を伴い、高次元テンソルデータには実用的ではない。 既存の低ランクテンソル法は、オンラインの方法での統計的推論能力に欠ける。 本手法では,広範囲なメモリ要求を伴わずに効率的なリアルタイムデータ処理を実現するため,グラディエント・Descent (SGD) を用いる。
  論文  参考訳（メタデータ） (2023-12-28T16:37:48Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• Split-Boost Neural Networks [1.1549572298362787]
  本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。 このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。 提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
  論文  参考訳（メタデータ） (2023-09-06T17:08:57Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。