論文の概要: LUMOS: Large User MOdels for User Behavior Prediction

• arxiv url: http://arxiv.org/abs/2512.08957v1
• Date: Fri, 28 Nov 2025 10:56:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 04:16:52.571399
• Title: LUMOS: Large User MOdels for User Behavior Prediction
• Title（参考訳）: LUMOS: ユーザ行動予測のための大規模ユーザモデル
• Authors: Dhruv Nigam,
• Abstract要約: タスク特化モデルと手動機能工学を排除したトランスフォーマーベースのアーキテクチャであるLUMOSを提案する。 LUMOSは、将来の既知の事象を予測する新しいクロスアテンションメカニズムを導入している。 従来のタスク固有モデルと比較して,LUMOSが優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User behavior prediction at scale remains a critical challenge for online B2C platforms. Traditional approaches rely heavily on task-specific models and domain-specific feature engineering. This is time-consuming, computationally expensive, and requires domain expertise and therefore not scalable. We present LUMOS (Large User MOdel Series), a transformer-based architecture that eliminates task-specific models and manual feature engineering by learning multiple tasks jointly using only raw user activity data. LUMOS introduces a novel cross-attention mechanism that conditions predictions on future known events (e.g., holidays, sales, etc.), enabling the model to predict complex behaviour patterns like "how will upcoming holidays affect user engagement?" The architecture also employs multi-modal tokenization, combining user transactions, event context, and static user demographic attributes into rich representations processed through specialized embedding pathways. Through extensive experiments on a production dataset spanning 275 billion user activity tokens from 250 million users, we demonstrate that LUMOS achieves superior performance compared to traditional task-specific models. Across 5 tasks with established baselines, we achieve an average improvement of 0.025 in ROC-AUC for binary classification tasks and 4.6\% reduction in MAPE for regression tasks. Online A/B testing validates these improvements translate to measurable business impact with a 3.15\% increase in Daily Active Users.
• Abstract（参考訳）: 大規模なユーザ行動予測は、オンラインB2Cプラットフォームにとって依然として重要な課題である。 従来のアプローチはタスク固有のモデルとドメイン固有の機能エンジニアリングに大きく依存しています。 これは時間がかかり、計算コストがかかり、ドメインの専門知識を必要とするため、スケーラブルではない。 LUMOS(Large User MOdel Series)は,タスク固有のモデルと手動の特徴工学を排除し,生のユーザアクティビティデータのみを用いて複数のタスクを共同で学習するトランスフォーマーベースのアーキテクチャである。 LUMOSは、将来の既知のイベント(ホリデー、セールスなど)の予測を条件付ける、新しいクロスアテンションメカニズムを導入し、モデルが"今後のホリデーがユーザエンゲージメントにどのように影響するか"といった複雑な振る舞いパターンを予測することを可能にする。 アーキテクチャはまた、ユーザトランザクション、イベントコンテキスト、静的ユーザ階層属性を、特別な埋め込み経路を通じて処理されたリッチな表現に組み合わせたマルチモーダルトークン化も採用している。 2億5000万人のユーザの275億のユーザアクティビティトークンにまたがる運用データセットに関する広範な実験を通じて、従来のタスク固有のモデルと比較して、LUMOSが優れたパフォーマンスを達成できることを実証した。 確立されたベースラインを持つ5つのタスクにおいて,2進分類タスクではROC-AUCが0.025,回帰タスクでは4.6\%,回帰タスクでは4.6\%の改善が達成される。 オンラインA/Bテストでは、これらの改善がビジネスへの影響を計測し、デイリーアクティブユーザーを3.15倍に増やしている。

関連論文リスト

• CTR Prediction on Alibaba's Taobao Advertising Dataset Using Traditional and Deep Learning Models [14.51041016589099]
  Alibabaがリリースした大規模なTaobaoデータセットを使用して、クリックスルー率をより効果的にモデル化する方法を検討する。 ユーザの意図をモデル化するために、22日間にわたって、数億のインタラクションからの行動データを組み合わせました。 弊社の研究は、クリックスルー率の予測を推し進め、その価値をeコマースを超えて拡張するためのロードマップを提供する。
  論文  参考訳（メタデータ） (2025-11-26T22:51:02Z)
• SessionIntentBench: A Multi-task Inter-session Intention-shift Modeling Benchmark for E-commerce Customer Behavior Understanding [64.45047674586671]
  本稿では,意図木の概念を導入し,データセットキュレーションパイプラインを提案する。 我々は,L(V)LMsのセッション間意図シフト理解能力を評価するマルチモーダルベンチマークSessionIntentBenchを構築した。 1,952,177の意図的エントリ,1,132,145のセッション意図軌跡,および10,905のセッションを使用してマイニングされた13,003,664のタスクにより,既存のセッションデータを活用可能なスケーラブルな方法を提供する。
  論文  参考訳（メタデータ） (2025-07-27T09:04:17Z)
• Intention-Conditioned Flow Occupancy Models [80.42634994902858]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• BehaveGPT: A Foundation Model for Large-scale User Behavior Modeling [14.342911841456663]
  本研究では,大規模ユーザ行動予測に特化して設計された基礎モデルであるBehaveGPTを提案する。 BehaveGPTは膨大なユーザーの行動データセットに基づいてトレーニングされており、複雑な行動パターンを学習することができる。 提案手法では,ユーザ行動データに適したDROベースの事前学習パラダイムを導入し,モデルの一般化と転送性を向上させる。
  論文  参考訳（メタデータ） (2025-05-23T08:43:46Z)
• Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
  我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• New User Event Prediction Through the Lens of Causal Inference [20.676353189313737]
  限られた履歴を持つ新規ユーザを対象とした新しい離散イベント予測フレームワークを提案する。 我々は、ユーザイベント履歴を、将来のイベントに対する"処理"として扱い、ユーザカテゴリを、重要な共同創設者として扱います。 本稿では,数値シミュレーションと実世界の2つの応用を用いて,提案フレームワークの性能向上を実証する。
  論文  参考訳（メタデータ） (2024-07-08T05:35:54Z)
• F-FOMAML: GNN-Enhanced Meta-Learning for Peak Period Demand Forecasting with Proxy Data [65.6499834212641]
  本稿では,需要予測をメタラーニング問題として定式化し,F-FOMAMLアルゴリズムを開発した。 タスク固有のメタデータを通してドメインの類似性を考慮することにより、トレーニングタスクの数が増加するにつれて過剰なリスクが減少する一般化を改善した。 従来の最先端モデルと比較して,本手法では需要予測精度が著しく向上し,内部自動販売機データセットでは平均絶対誤差が26.24%,JD.comデータセットでは1.04%削減された。
  論文  参考訳（メタデータ） (2024-06-23T21:28:50Z)
• Learning Large-scale Universal User Representation with Sparse Mixture of Experts [1.2722697496405464]
  複数のタスクから高品質なユーザ表現を得るための汎用フレームワーク SUPERMOE を提案する。 具体的には、ユーザ動作シーケンスをMoE変換器で符号化することで、モデル容量を数十億のパラメータに増やすことができる。 複数のタスクにまたがる学習においてシーソー現象に対処するために,タスクインジケータを用いた新たな損失関数を設計する。
  論文  参考訳（メタデータ） (2022-07-11T06:19:03Z)
• Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction [23.460147230576855]
  我々は検索ベース興味モデル(SIM)と呼ばれる新しいモデリングパラダイムを提案する。 SIMは2つのカスケード検索ユニットでユーザ興味を抽出する。 2019年以降、SIMはAlibabaのディスプレイ広告システムにデプロイされ、CTRは7.1%、リフトは4.4%となっている。
  論文  参考訳（メタデータ） (2020-06-10T03:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。