論文の概要: BehaveGPT: A Foundation Model for Large-scale User Behavior Modeling

• arxiv url: http://arxiv.org/abs/2505.17631v1
• Date: Fri, 23 May 2025 08:43:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.935167
• Title: BehaveGPT: A Foundation Model for Large-scale User Behavior Modeling
• Title（参考訳）: BehaveGPT: 大規模ユーザ行動モデリングの基礎モデル
• Authors: Jiahui Gong, Jingtao Ding, Fanjin Meng, Chen Yang, Hong Chen, Zuojian Wang, Haisheng Lu, Yong Li,
• Abstract要約: 本研究では,大規模ユーザ行動予測に特化して設計された基礎モデルであるBehaveGPTを提案する。 BehaveGPTは膨大なユーザーの行動データセットに基づいてトレーニングされており、複雑な行動パターンを学習することができる。 提案手法では,ユーザ行動データに適したDROベースの事前学習パラダイムを導入し,モデルの一般化と転送性を向上させる。
• 参考スコア（独自算出の注目度）: 14.342911841456663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, foundational models have revolutionized the fields of language and vision, demonstrating remarkable abilities in understanding and generating complex data; however, similar advances in user behavior modeling have been limited, largely due to the complexity of behavioral data and the challenges involved in capturing intricate temporal and contextual relationships in user activities. To address this, we propose BehaveGPT, a foundational model designed specifically for large-scale user behavior prediction. Leveraging transformer-based architecture and a novel pretraining paradigm, BehaveGPT is trained on vast user behavior datasets, allowing it to learn complex behavior patterns and support a range of downstream tasks, including next behavior prediction, long-term generation, and cross-domain adaptation. Our approach introduces the DRO-based pretraining paradigm tailored for user behavior data, which improves model generalization and transferability by equitably modeling both head and tail behaviors. Extensive experiments on real-world datasets demonstrate that BehaveGPT outperforms state-of-the-art baselines, achieving more than a 10% improvement in macro and weighted recall, showcasing its ability to effectively capture and predict user behavior. Furthermore, we measure the scaling law in the user behavior domain for the first time on the Honor dataset, providing insights into how model performance scales with increased data and parameter sizes.
• Abstract（参考訳）: 近年、基礎モデルは言語とビジョンの分野に革命をもたらし、複雑なデータの理解と生成において顕著な能力を発揮している。 そこで本稿では,大規模ユーザ行動予測に特化して設計された基礎モデルであるBehaveGPTを提案する。 トランスフォーマーベースのアーキテクチャと新しい事前トレーニングパラダイムを活用して、BehaveGPTは巨大なユーザ行動データセットに基づいてトレーニングされており、複雑な振る舞いパターンを学習し、次の動作予測、長期生成、ドメイン間の適応など、さまざまな下流タスクをサポートする。 提案手法では,ユーザの行動データに合わせたDROに基づく事前学習パラダイムを導入し,頭部と尾部の挙動を均等にモデル化することで,モデルの一般化と伝達性を向上させる。 実世界のデータセットに関する大規模な実験によると、BehaveGPTは最先端のベースラインを上回っ、マクロと重み付けリコールの10%以上の改善を実現し、ユーザの振る舞いを効果的にキャプチャし予測する能力を示している。 さらに,Honorデータセット上でユーザ行動領域におけるスケーリングの法則を初めて測定し,データの増加とパラメータサイズの増加によるモデルパフォーマンスのスケーリング方法に関する洞察を提供する。

関連論文リスト

• Large language model as user daily behavior data generator: balancing population diversity and individual personality [12.464365435176099]
  本稿では,大規模言語モデルを用いて高品質な合成行動データを生成するフレームワークであるBehavimentGenを紹介する。 プロファイルと実際のイベントに基づいてユーザの振る舞いをシミュレートすることで、BehavimentGenは行動予測モデルにおけるデータ拡張と置換をサポートする。 我々は,その性能を,強化,微調整,微調整などのシナリオで評価し,人間の移動性やスマートフォン利用予測の大幅な改善を実現した。
  論文  参考訳（メタデータ） (2025-05-23T08:22:09Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Incorporating Group Prior into Variational Inference for Tail-User Behavior Modeling in CTR Prediction [8.213386595519928]
  我々は,新しい変分推論手法,すなわちグループ事前サンプリング変分推論(GPSVI)を提案する。 GPSVIは、グループ嗜好を先行として導入し、末尾ユーザーのための潜伏したユーザー関心を洗練させる。 厳密な分析と広範な実験により、GPSVIはテールユーザーの性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2024-10-19T13:15:36Z)
• USE: Dynamic User Modeling with Stateful Sequence Models [26.74966828348815]
  User Stateful Embedding (USE)は、徹底的な再処理を必要とせずに、ユーザ埋め込みを生成する。 我々は,次世代の予測の限界を超越するために,将来のW行動予測という新たな訓練目標を導入する。 静的(固定されたユーザ行動シーケンス)および動的(定期的に更新されたユーザ行動シーケンス)設定の両方で、Snapchatユーザーの行動ログを使用して、8つの下流タスクで実験を行う。
  論文  参考訳（メタデータ） (2024-03-20T07:05:19Z)
• Incorporating Heterogeneous User Behaviors and Social Influences for Predictive Analysis [32.31161268928372]
  我々は,行動予測に異質なユーザ行動と社会的影響を取り入れることを目指している。 本稿では,行動シーケンスのコンテキストを考慮したLong-Short Term Memory (LSTM)を提案する。 残差学習に基づくデコーダは、社会的行動表現に基づいて、複数の高次クロス機能を自動的に構築するように設計されている。
  論文  参考訳（メタデータ） (2022-07-24T17:05:37Z)
• Preference Enhanced Social Influence Modeling for Network-Aware Cascade Prediction [59.221668173521884]
  本稿では,ユーザの嗜好モデルを強化することで,カスケードサイズ予測を促進する新しいフレームワークを提案する。 エンド・ツー・エンドの手法により,ユーザの情報拡散プロセスがより適応的で正確になる。
  論文  参考訳（メタデータ） (2022-04-18T09:25:06Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Learning Transferrable Parameters for Long-tailed Sequential User Behavior Modeling [70.64257515361972]
  テールユーザに注力することで、より多くのメリットをもたらし、長いテールの問題に対処できる、と私たちは主張しています。 具体的には、頭部から尾部への知識伝達を容易にするために、勾配アライメントを提案し、敵のトレーニングスキームを採用する。
  論文  参考訳（メタデータ） (2020-10-22T03:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。