論文の概要: Bootstrapping your behavior: a new pretraining strategy for user behavior sequence data

• arxiv url: http://arxiv.org/abs/2506.11053v1
• Date: Thu, 22 May 2025 11:23:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.522445
• Title: Bootstrapping your behavior: a new pretraining strategy for user behavior sequence data
• Title（参考訳）: 行動のブートストラップ - ユーザの行動シーケンスデータのための新しい事前学習戦略
• Authors: Weichang Wu, Xiaolu Zhang, Jun Zhou, Yuchen Li, Wenwen Xia,
• Abstract要約: UBSの事前学習戦略であるBootstrapping Your Behavior(モデル)を導入し、将来の時間ウィンドウにすべての行動に関する情報を埋め込む自動構築のインスペクションを予測する。 2つの実世界の産業データセットと8つの下流タスクの実験では、AUCの平均的な改善は3.9%、トレーニングのスループットは98.9%である。
• 参考スコア（独自算出の注目度）: 20.293837889640507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User Behavior Sequence (UBS) modeling is crucial in industrial applications. As data scale and task diversity grow, UBS pretraining methods have become increasingly pivotal. State-of-the-art UBS pretraining methods rely on predicting behavior distributions. The key step in these methods is constructing a selected behavior vocabulary. However, this manual step is labor-intensive and prone to bias. The limitation of vocabulary capacity also directly affects models' generalization ability. In this paper, we introduce Bootstrapping Your Behavior (\model{}), a novel UBS pretraining strategy that predicts an automatically constructed supervision embedding summarizing all behaviors' information within a future time window, eliminating the manual behavior vocabulary selection. In implementation, we incorporate a student-teacher encoder scheme to construct the pretraining supervision effectively. Experiments on two real-world industrial datasets and eight downstream tasks demonstrate that \model{} achieves an average improvement of 3.9\% in AUC and 98.9\% in training throughput. Notably, the model exhibits meaningful attention patterns and cluster representations during pretraining without any label supervision. In our online deployment over two months, the pretrained model improves the KS by about 2.7\% and 7.1\% over the baseline model for two financial overdue risk prediction tasks in the Alipay mobile application, which reduces bad debt risk by millions of dollars for Ant group.
• Abstract（参考訳）: ユーザ・ビヘイビア・シーケンス(UBS)モデリングは産業アプリケーションにおいて重要である。 データスケールとタスクの多様性が向上するにつれて、UBS事前学習の手法はますます重要になっている。 最先端のUBS事前訓練法は、行動分布の予測に頼っている。 これらの手法の鍵となるステップは、選択された振る舞い語彙を構築することである。 しかしながら、この手作業のステップは労働集約的であり、バイアスの傾向があります。 語彙能力の制限はモデルの一般化能力に直接影響する。 本稿では、将来の時間帯に全ての行動情報を要約し、手動の行動語彙の選択をなくし、自動構築された監視を予測できる新しいUBS事前学習戦略であるBootstrapping Your Behavior(\model{})を紹介する。 本研究では,プレトレーニング指導を効果的に構築するために,学生-教師エンコーダ方式を取り入れた。 2つの実世界の産業データセットと8つの下流タスクの実験により、 \model{}はAUCで3.9\%、トレーニングスループットで98.9\%の平均的な改善を達成している。 特に、このモデルはラベルの監督なしに事前トレーニング中に意味のある注意パターンとクラスタ表現を示す。 2ヶ月にわたるオンライン展開において、事前訓練されたモデルは、Alipayモバイルアプリケーションにおける2つの金融過剰リスク予測タスクのベースラインモデルに対して、KSを約2.7 %と7.1 %改善します。

関連論文リスト

• StochCA: A Novel Approach for Exploiting Pretrained Models with Cross-Attention [2.66269503676104]
  トランスフォーマーアーキテクチャに特有なクロスアテンション(StochCA)と呼ばれる新しい微調整手法を提案する。 この方法はトランスフォーマーの自己保持機構を変更し、微調整中に事前学習したモデルからの知識を選択的に活用する。 両領域の最先端アプローチに対するStochCAの優位性について検討した。
  論文  参考訳（メタデータ） (2024-02-25T13:53:49Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Learning to Modulate pre-trained Models in RL [22.812215561012874]
  訓練済みモデルの微調整は、しばしば破滅的な忘れ込みに悩まされる。 本研究は、ほとんどの微調整アプローチにおいて、事前学習タスクのパフォーマンスが著しく低下していることを示す。 凍結事前学習モデルの情報フローを変調することにより,学習スキルの劣化を回避する新しい手法L2Mを提案する。
  論文  参考訳（メタデータ） (2023-06-26T17:53:05Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows [58.762959061522736]
  オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。 我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。 提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
  論文  参考訳（メタデータ） (2022-11-20T21:57:10Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。