論文の概要: Abacus: Self-Supervised Event Counting-Aligned Distributional Pretraining for Sequential User Modeling

• arxiv url: http://arxiv.org/abs/2512.16581v1
• Date: Thu, 18 Dec 2025 14:24:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:32.097232
• Title: Abacus: Self-Supervised Event Counting-Aligned Distributional Pretraining for Sequential User Modeling
• Title（参考訳）: Abacus: シークエンシャルユーザモデリングのための自己監視型イベントカウント対応分散事前トレーニング
• Authors: Sullivan Castro, Artem Betlei, Thomas Di Martino, Nadir El Manouzi,
• Abstract要約: 本稿では,ユーザイベントの経験的頻度分布を予測する新しいアプローチであるAbacusを紹介する。 Abacus Pretrainingは、下流のタスク収束を加速する既存のメソッドより優れています。
• 参考スコア（独自算出の注目度）: 1.3416169841532526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling user purchase behavior is a critical challenge in display advertising systems, necessary for real-time bidding. The difficulty arises from the sparsity of positive user events and the stochasticity of user actions, leading to severe class imbalance and irregular event timing. Predictive systems usually rely on hand-crafted "counter" features, overlooking the fine-grained temporal evolution of user intent. Meanwhile, current sequential models extract direct sequential signal, missing useful event-counting statistics. We enhance deep sequential models with self-supervised pretraining strategies for display advertising. Especially, we introduce Abacus, a novel approach of predicting the empirical frequency distribution of user events. We further propose a hybrid objective unifying Abacus with sequential learning objectives, combining stability of aggregated statistics with the sequence modeling sensitivity. Experiments on two real-world datasets show that Abacus pretraining outperforms existing methods accelerating downstream task convergence, while hybrid approach yields up to +6.1% AUC compared to the baselines.
• Abstract（参考訳）: ユーザ購入行動のモデル化は、リアルタイム入札に必要なディスプレイ広告システムにおいて重要な課題である。 この困難は、ポジティブなユーザイベントの空間性とユーザアクションの確率性から生じ、厳しいクラス不均衡と不規則なイベントタイミングをもたらす。 予測システムは、通常手作りの「カウンタ」機能に依存し、ユーザー意図の微粒な時間的進化を見渡す。 一方、現在のシーケンシャルモデルは直接逐次信号を抽出し、有用なイベントカウント統計を欠いている。 我々は、ディスプレイ広告のための自己教師付き事前学習戦略により、ディープシーケンシャルモデルを強化する。 特に,ユーザイベントの経験的頻度分布を予測する新しいアプローチであるAbacusを紹介する。 さらに,Abacusと逐次学習の目的を一体化して,集約された統計の安定性とシーケンスモデリングの感度を組み合わせたハイブリッド目的を提案する。 2つの実世界のデータセットの実験では、Abacusの事前訓練は下流のタスク収束を加速する既存の手法よりも優れており、一方ハイブリッドアプローチはベースラインに比べて+6.1%のAUCが得られる。

関連論文リスト

• SynCast: Synergizing Contradictions in Precipitation Nowcasting via Diffusion Sequential Preference Optimization [62.958457694151384]
  本研究では,大規模な言語モデルにおける人的フィードバックからの強化学習の成功を動機として,降水量の最適化を初めて導入する。 第一段階では、フレームワークはFARを減らすことに焦点を当て、誤報を効果的に抑えるためにモデルを訓練する。
  論文  参考訳（メタデータ） (2025-10-22T16:11:22Z)
• Unified Flow Matching for Long Horizon Event Forecasting [3.0639815065447036]
  本稿では,マーク付き時間点プロセスのための一貫したフローマッチングフレームワークを提案する。 両コンポーネントの連続時間フローを学習することにより,逐次復号化を伴わずにコヒーレントな長地平線イベントトラジェクトリを生成する。 実世界の6つのベンチマークでモデルを評価し,精度と生成効率の両面で自己回帰ベースラインと拡散ベースラインを大幅に改善した。
  論文  参考訳（メタデータ） (2025-08-06T19:42:49Z)
• Self-attention-based Diffusion Model for Time-series Imputation in Partial Blackout Scenarios [23.160007389272575]
  時系列データの欠落値は、機械学習のパフォーマンスを損なう可能性がある。 これまでの研究は、ランダムで完全なブラックアウトと予測シナリオにおいて、欠落したデータの計算に取り組んできた。 本稿では,自己意図と拡散過程を用いた2段階計算プロセスを導入し,特徴量と時間的相関をモデル化する。
  論文  参考訳（メタデータ） (2025-03-03T16:58:15Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• On Your Mark, Get Set, Predict! Modeling Continuous-Time Dynamics of Cascades for Information Popularity Prediction [5.464598715181046]
  情報の普及を正確に予測する鍵は、基礎となる時間情報拡散過程を微妙にモデル化することにある。 本稿では,情報人気予測のために,カスケードの連続時間ダイナミクスをモデル化したConCatを提案する。 実世界の3つのデータセット上でConCatを評価するための広範な実験を行った。
  論文  参考訳（メタデータ） (2024-09-25T05:08:44Z)
• New User Event Prediction Through the Lens of Causal Inference [20.676353189313737]
  限られた履歴を持つ新規ユーザを対象とした新しい離散イベント予測フレームワークを提案する。 我々は、ユーザイベント履歴を、将来のイベントに対する"処理"として扱い、ユーザカテゴリを、重要な共同創設者として扱います。 本稿では,数値シミュレーションと実世界の2つの応用を用いて,提案フレームワークの性能向上を実証する。
  論文  参考訳（メタデータ） (2024-07-08T05:35:54Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment [72.50906475214457]
  シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。 実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。 文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T07:54:13Z)
• Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
  本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。 ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。 我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
  論文  参考訳（メタデータ） (2020-06-20T03:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。