論文の概要: PANTHER: Generative Pretraining Beyond Language for Sequential User Behavior Modeling

• arxiv url: http://arxiv.org/abs/2510.10102v1
• Date: Sat, 11 Oct 2025 08:24:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.782939
• Title: PANTHER: Generative Pretraining Beyond Language for Sequential User Behavior Modeling
• Title（参考訳）: PANTHER: 逐次ユーザー行動モデリングのための言語以外の生成的事前学習
• Authors: Guilin Li, Yun Zhang, Xiuyuan Chen, Chengqi Li, Bo Wang, Linghe Kong, Wenjia Wang, Weiran Huang, Matthias Hwai Yong Tan,
• Abstract要約: 本稿では,ユーザ行動の事前学習と下流適応を統一するハイブリッドな生成識別フレームワークPANTHERを提案する。 PANTHERはWeChat Payのオンライン展開と運用をフルに行い、HitRate@1.5%で25.6%のアップを達成している。 パブリックベンチマークでのクロスドメイン評価は、強力な一般化を示し、最大21%のHitRate@1がトランスフォーマーベースラインを越えている。
• 参考スコア（独自算出の注目度）: 32.37786043225548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have shown that generative pretraining can distill vast world knowledge into compact token representations. While LLMs encapsulate extensive world knowledge, they remain limited in modeling the behavioral knowledge contained within user interaction histories. User behavior forms a distinct modality, where each action, defined by multi-dimensional attributes such as time, context, and transaction type, constitutes a behavioral token. Modeling these high-cardinality sequences is challenging, and discriminative models often falter under limited supervision. To bridge this gap, we extend generative pretraining to user behavior, learning transferable representations from unlabeled behavioral data analogous to how LLMs learn from text. We present PANTHER, a hybrid generative-discriminative framework that unifies user behavior pretraining and downstream adaptation, enabling large-scale sequential user representation learning and real-time inference. PANTHER introduces: (1) Structured Tokenization to compress multi-dimensional transaction attributes into an interpretable vocabulary; (2) Sequence Pattern Recognition Module (SPRM) for modeling periodic transaction motifs; (3) a Unified User-Profile Embedding that fuses static demographics with dynamic transaction histories; and (4) Real-time scalability enabled by offline caching of pretrained embeddings for millisecond-level inference. Fully deployed and operational online at WeChat Pay, PANTHER delivers a 25.6 percent boost in next-transaction prediction HitRate@1 and a 38.6 percent relative improvement in fraud detection recall over baselines. Cross-domain evaluations on public benchmarks show strong generalization, achieving up to 21 percent HitRate@1 gains over transformer baselines, establishing PANTHER as a scalable, high-performance framework for industrial sequential user behavior modeling.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、生成的事前学習が膨大な世界の知識をコンパクトなトークン表現に抽出できることを示した。 LLMは広い世界知識をカプセル化しているが、ユーザインタラクション履歴に含まれる行動知識のモデリングには限定的である。 ユーザ行動は、時間、コンテキスト、トランザクションタイプといった多次元属性によって定義された各アクションが振る舞いトークンを構成する、明確なモダリティを形成する。 これらの高カルチナリティシーケンスのモデル化は困難であり、限定的な監督の下で差別的モデルはしばしば失敗する。 このギャップを埋めるために、私たちは、LLMがテキストからどのように学習するかに類似した、ラベルなしの振る舞いデータから、転送可能な表現を学習する、ユーザ行動に対する生成前訓練を拡張します。 本稿では,ユーザ行動の事前学習と下流適応を統一し,大規模な逐次的ユーザ表現学習とリアルタイム推論を可能にするハイブリッド生成識別フレームワークPANTHERを提案する。 PANTHERは,(1)多次元のトランザクション属性を解釈可能な語彙に圧縮する構造化トークン化,(2)周期的なトランザクションモチーフをモデル化するためのシーケンスパターン認識モジュール(SPRM),(3)動的トランザクション履歴を融合した静的な階層を融合する統一ユーザプロファイル埋め込み,(4)ミリ秒レベルの推論のために事前制約された埋め込みをオフラインキャッシュすることで,リアルタイムスケーラビリティを実現する。 WeChat Payでオンラインに展開および運用されているPANTHERは、次のトランザクション予測HitRate@1で25.6%、ベースライン上の不正検出リコールで38.6%向上している。 パブリックベンチマークでのクロスドメイン評価は強力な一般化を示し、最大21%のHitRate@1がトランスフォーマーベースラインを越え、PANTHERを産業的シーケンシャルなユーザビヘイビアモデリングのためのスケーラブルで高性能なフレームワークとして確立した。

関連論文リスト

• Next Interest Flow: A Generative Pre-training Paradigm for Recommender Systems by Modeling All-domain Movelines [8.895768051554162]
  本稿では,eコマースレコメンデータシステムのための新しい生成事前学習パラダイムを提案する。 我々のモデルは,ユーザの将来の意図を表す密度の高いベクトル列であるNext Interest Flowを予測することを学ぶ。 パイプライン全体を実装した統合フレームワークである All-domain Moveline Evolution Network (AMEN) を提示する。
  論文  参考訳（メタデータ） (2025-10-13T12:13:17Z)
• Leveraging Scene Context with Dual Networks for Sequential User Behavior Modeling [58.72480539725212]
  本稿では,シーンとアイテム間の動的興味や相互作用を捉えるために,新しいDSPネットワークを提案する。 DSPnetは、アイテムやシーンに対するユーザの動的関心を学習するための2つの並列ネットワークと、将来の振る舞いを予測するためのインタープレイをキャプチャするシーケンス機能拡張モジュールで構成されている。
  論文  参考訳（メタデータ） (2025-09-30T12:26:57Z)
• What Makes You Unique? Attribute Prompt Composition for Object Re-Identification [70.67907354506278]
  Object Re-IDentificationは、重複しないカメラビューで個人を認識することを目的としている。 単一ドメインモデルはドメイン固有の機能に過度に適合する傾向がありますが、クロスドメインモデルは多種多様な正規化戦略に依存します。 本稿では,テキストのセマンティクスを利用して識別と一般化を協調的に強化する属性プロンプト合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-23T07:03:08Z)
• BehaveGPT: A Foundation Model for Large-scale User Behavior Modeling [14.342911841456663]
  本研究では,大規模ユーザ行動予測に特化して設計された基礎モデルであるBehaveGPTを提案する。 BehaveGPTは膨大なユーザーの行動データセットに基づいてトレーニングされており、複雑な行動パターンを学習することができる。 提案手法では,ユーザ行動データに適したDROベースの事前学習パラダイムを導入し,モデルの一般化と転送性を向上させる。
  論文  参考訳（メタデータ） (2025-05-23T08:43:46Z)
• Large Language Model Empowered Recommendation Meets All-domain Continual Pre-Training [60.38082979765664]
  CPRecは、レコメンデーションのための全ドメイン連続事前トレーニングフレームワークである。 LLMを連続的な事前学習パラダイムを通じて、普遍的なユーザ行動と整合させる。 2つの異なるプラットフォームから5つの実世界のデータセットを実験する。
  論文  参考訳（メタデータ） (2025-04-11T20:01:25Z)
• Multi-granularity Interest Retrieval and Refinement Network for Long-Term User Behavior Modeling in CTR Prediction [68.90783662117936]
  クリックスルーレート(CTR)の予測は、オンラインパーソナライズプラットフォームにとって不可欠である。 近年の進歩は、リッチなユーザの振る舞いをモデル化することで、CTR予測の性能を大幅に改善できることを示している。 マルチグラニュラリティ興味検索ネットワーク(MIRRN)を提案する。
  論文  参考訳（メタデータ） (2024-11-22T15:29:05Z)
• Learning Self-Modulating Attention in Continuous Time Space with Applications to Sequential Recommendation [102.24108167002252]
  本稿では,複雑で非線形に進化する動的ユーザの嗜好をモデル化する,自己変調型注意ネットワークを提案する。 提案手法がトップNシーケンシャルなレコメンデーションタスクに与える影響を実証的に示すとともに,3つの大規模実世界のデータセットによる結果から,我々のモデルが最先端のパフォーマンスを達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-30T03:54:11Z)
• UserBERT: Modeling Long- and Short-Term User Preferences via Self-Supervision [6.8904125699168075]
  本稿では,BERTモデルを電子商取引ユーザデータに拡張し,自己教師型で表現を事前学習する。 文中の単語に類似したシーケンスでユーザアクションを見ることにより、既存のBERTモデルをユーザ行動データに拡張する。 本稿では,異なる種類のユーザ行動シーケンスのトークン化,入力表現の生成,および事前学習されたモデルが自身の入力から学習できるようにするための新しいプレテキストタスクを提案する。
  論文  参考訳（メタデータ） (2022-02-14T08:31:36Z)
• VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction [50.986371459817256]
  本稿では,VIRT と呼ばれる新しいtextitVirtual InteRacTion 機構を提案する。 VIRTは、表現ベースのエンコーダに、対話ベースのモデルのように振舞いを模倣する仮想インタラクションを実行するよう要求する。
  論文  参考訳（メタデータ） (2021-12-08T09:49:28Z)
• Empowering General-purpose User Representation with Full-life Cycle Behavior Modeling [11.698166058448555]
  本稿では,この課題に対処するために,フルライフサイクルユーザ表現モデル(LURM)と呼ばれる新しいフレームワークを提案する。 LURMは2つのカスケードサブモデルで構成されている: (I) Bag-of-Interests (BoI) は、任意の期間におけるユーザの振る舞いを超高次元のスパースベクトル(例:105)にエンコードする。 SMENは、ユーザ関心の異なる側面を学習できる新しいマルチアンカーモジュールの恩恵を受け、ほぼ次元の削減を実現している。
  論文  参考訳（メタデータ） (2021-10-20T08:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。