論文の概要: LLM4ES: Learning User Embeddings from Event Sequences via Large Language Models

• arxiv url: http://arxiv.org/abs/2508.05688v1
• Date: Wed, 06 Aug 2025 06:54:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:05.930469
• Title: LLM4ES: Learning User Embeddings from Event Sequences via Large Language Models
• Title（参考訳）: LLM4ES: 大規模言語モデルによるイベントシーケンスからのユーザ埋め込み学習
• Authors: Aleksei Shestov, Omar Zoloev, Maksim Makarenko, Mikhail Orlov, Egor Fadeev, Ivan Kireev, Andrey Savchenko,
• Abstract要約: 本稿では,大規模な事前学習言語モデル(LLM)を利用して,イベントシーケンスからユーザ埋め込みを導出する新しいフレームワークを提案する。 結果は、ファイナンスにおけるユーザセグメンテーションから、ヘルスケアにおける患者の結果予測まで、幅広いアプリケーションに組み込むことができる。
• 参考スコア（独自算出の注目度）: 0.9355948783107499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents LLM4ES, a novel framework that exploits large pre-trained language models (LLMs) to derive user embeddings from event sequences. Event sequences are transformed into a textual representation, which is subsequently used to fine-tune an LLM through next-token prediction to generate high-quality embeddings. We introduce a text enrichment technique that enhances LLM adaptation to event sequence data, improving representation quality for low-variability domains. Experimental results demonstrate that LLM4ES achieves state-of-the-art performance in user classification tasks in financial and other domains, outperforming existing embedding methods. The resulting user embeddings can be incorporated into a wide range of applications, from user segmentation in finance to patient outcome prediction in healthcare.
• Abstract（参考訳）: 本稿では,LLM4ESを提案する。LLM4ESは,大規模事前学習言語モデル(LLM)を利用して,イベントシーケンスからユーザ埋め込みを導出する新しいフレームワークである。 イベントシーケンスはテキスト表現に変換され、次に次のトーケン予測によってLLMを微調整し、高品質な埋め込みを生成する。 本稿では,LLMのイベントシーケンスデータへの適応性を高め,低変数領域の表現品質を向上させるテキストエンリッチメント手法を提案する。 実験により, LLM4ESは, 財務その他の分野のユーザ分類タスクにおいて, 従来の組込み手法よりも優れていることを示す。 結果として生じるユーザ埋め込みは、ファイナンスにおけるユーザセグメンテーションから、ヘルスケアにおける患者結果予測まで、幅広いアプリケーションに組み込むことができる。

関連論文リスト

• Training Large Recommendation Models via Graph-Language Token Alignment [53.3142545812349]
  本稿では,グラフ言語トークンアライメントによる大規模推薦モデルのトレーニングを行う新しいフレームワークを提案する。 インタラクショングラフからアイテムとユーザノードを事前訓練されたLLMトークンにアライメントすることで、GLTAはLLMの推論能力を効果的に活用する。 さらに、エンドツーエンドのアイテム予測のためのトークンアライメントを最適化するために、GLLM(Graph-Language Logits Matching)を導入する。
  論文  参考訳（メタデータ） (2025-02-26T02:19:10Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• Large Language Models as Data Preprocessors [9.99065004972981]
  大規模言語モデル (LLM) は人工知能において大きな進歩を遂げている。 本研究では、データマイニングおよび分析アプリケーションにおいて重要な段階である、データ前処理におけるその可能性について検討する。 我々は,最先端のプロンプトエンジニアリング技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T23:28:43Z)
• Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
  本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。 提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。 モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
  論文  参考訳（メタデータ） (2023-07-31T13:26:03Z)
• A Comparison of SVM against Pre-trained Language Models (PLMs) for Text Classification Tasks [1.2934180951771599]
  ドメイン固有のコーパスでは、特定のタスクのために事前訓練されたモデルを微調整することで、パフォーマンスが向上することを示した。 3つのパブリックドメインフリーデータセットとドメイン固有の単語を含む実世界のデータセットにおける4つの異なるPLMの性能を比較した。
  論文  参考訳（メタデータ） (2022-11-04T16:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。