論文の概要: Tuning Language Models for Robust Prediction of Diverse User Behaviors

• arxiv url: http://arxiv.org/abs/2505.17682v1
• Date: Fri, 23 May 2025 09:53:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.974538
• Title: Tuning Language Models for Robust Prediction of Diverse User Behaviors
• Title（参考訳）: 多様なユーザ行動のロバスト予測のためのチューニング言語モデル
• Authors: Fanjin Meng, Jingtao Ding, Jiahui Gong, Chen Yang, Hong Chen, Zuojian Wang, Haisheng Lu, Yong Li,
• Abstract要約: インテリジェントアシスタントサービスにはユーザ行動の予測が不可欠だが、ディープラーニングモデルは長い尾の振る舞いを捉えるのに苦労することが多い。 本稿では,この問題に対処する段階的な微調整手法であるBehavimentLMを紹介する。 2つの実世界のデータセットの実験結果から、BehavimentLMはアンカーとテールの両方の挙動を頑健に予測することが示された。
• 参考スコア（独自算出の注目度）: 14.342911841456663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting user behavior is essential for intelligent assistant services, yet deep learning models often struggle to capture long-tailed behaviors. Large language models (LLMs), with their pretraining on vast corpora containing rich behavioral knowledge, offer promise. However, existing fine-tuning approaches tend to overfit to frequent ``anchor'' behaviors, reducing their ability to predict less common ``tail'' behaviors. In this paper, we introduce BehaviorLM, a progressive fine-tuning approach that addresses this issue. In the first stage, LLMs are fine-tuned on anchor behaviors while preserving general behavioral knowledge. In the second stage, fine-tuning uses a balanced subset of all behaviors based on sample difficulty to improve tail behavior predictions without sacrificing anchor performance. Experimental results on two real-world datasets demonstrate that BehaviorLM robustly predicts both anchor and tail behaviors and effectively leverages LLM behavioral knowledge to master tail behavior prediction with few-shot examples.
• Abstract（参考訳）: インテリジェントアシスタントサービスにはユーザ行動の予測が不可欠だが、ディープラーニングモデルは長い尾の振る舞いを捉えるのに苦労することが多い。 大きな言語モデル(LLM)は、豊富な振る舞いの知識を含む広大なコーパスで事前訓練することで、約束を提供する。 しかし、既存の微調整アプローチは、頻繁な‘anchor’の振る舞いに過度に適合する傾向にあり、あまり一般的でない‘`tail'の振る舞いを予測する能力は低下する。 本稿では,この問題に対処する段階的な微調整手法であるBehavimentLMを紹介する。 第一段階では、LLMは一般的な行動知識を保持しながら、アンカーの動作に微調整される。 第2段階では、ファインチューニングは、アンカー性能を犠牲にすることなくテール動作予測を改善するために、サンプル難易度に基づく全ての動作のバランスの取れたサブセットを使用する。 2つの実世界のデータセットの実験結果から、BehavimentLMはアンカーとテールの両方の挙動をしっかりと予測し、LLMの行動知識を効果的に活用し、いくつかの例でテールの挙動予測をマスターすることを示した。

関連論文リスト

• BehaveGPT: A Foundation Model for Large-scale User Behavior Modeling [14.342911841456663]
  本研究では,大規模ユーザ行動予測に特化して設計された基礎モデルであるBehaveGPTを提案する。 BehaveGPTは膨大なユーザーの行動データセットに基づいてトレーニングされており、複雑な行動パターンを学習することができる。 提案手法では,ユーザ行動データに適したDROベースの事前学習パラダイムを導入し,モデルの一般化と転送性を向上させる。
  論文  参考訳（メタデータ） (2025-05-23T08:43:46Z)
• Large Language Model Empowered Recommendation Meets All-domain Continual Pre-Training [60.38082979765664]
  CPRecは、レコメンデーションのための全ドメイン連続事前トレーニングフレームワークである。 LLMを連続的な事前学習パラダイムを通じて、普遍的なユーザ行動と整合させる。 2つの異なるプラットフォームから5つの実世界のデータセットを実験する。
  論文  参考訳（メタデータ） (2025-04-11T20:01:25Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Causality-Enhanced Behavior Sequence Modeling in LLMs for Personalized Recommendation [47.29682938439268]
  本稿では,ユーザ嗜好モデルを改善するために,CFT法を提案する。 モデル出力に対する行動系列の因果的影響を特定するために, 反ファクト推論を用いる。 実世界のデータセットの実験により、CFTは行動シーケンスモデリングを効果的に改善することを示した。
  論文  参考訳（メタデータ） (2024-10-30T08:41:13Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Make Your Home Safe: Time-aware Unsupervised User Behavior Anomaly Detection in Smart Homes via Loss-guided Mask [27.955323209766153]
  自動エンコーダに基づく教師なしユーザ動作異常検出フレームワークであるSmartGuardを提案する。 まず、Los-Guided Dynamic Mask Strategy (LDMS) を設計し、モデルの頻繁な振る舞いの学習を促す。 次に,3段階の時間認識位置埋め込み (TTPE) を提案する。 第3に,騒音を考慮した重み付き再構成損失(NWRL)を提案する。
  論文  参考訳（メタデータ） (2024-06-16T13:23:21Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)
• Recommender Transformers with Behavior Pathways [50.842316273120744]
  Recommender Transformer (RETR) を新しいパスウェイアテンション機構で構築する。 実世界の7つのデータセットにおけるRETRの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-06-13T08:58:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。