論文の概要: Instruction-Based Fine-tuning of Open-Source LLMs for Predicting Customer Purchase Behaviors

• arxiv url: http://arxiv.org/abs/2502.15724v1
• Date: Tue, 28 Jan 2025 11:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 04:52:23.873187
• Title: Instruction-Based Fine-tuning of Open-Source LLMs for Predicting Customer Purchase Behaviors
• Title（参考訳）: 顧客購入行動予測のためのオープンソースLCMのインストラクションベース微調整
• Authors: Halil Ibrahim Ergul, Selim Balcisoy, Burcin Bozkaya,
• Abstract要約: 微調整ミストラルインストラクションモデルの優れた予測能力が実証された。 Mistralモデルは従来のシーケンシャルモデルよりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 1.4440000007050255
• License:
• Abstract: In this study, the performance of various predictive models, including probabilistic baseline, CNN, LSTM, and finetuned LLMs, in forecasting merchant categories from financial transaction data have been evaluated. Utilizing datasets from Bank A for training and Bank B for testing, the superior predictive capabilities of the fine-tuned Mistral Instruct model, which was trained using customer data converted into natural language format have been demonstrated. The methodology of this study involves instruction fine-tuning Mistral via LoRA (LowRank Adaptation of Large Language Models) to adapt its vast pre-trained knowledge to the specific domain of financial transactions. The Mistral model significantly outperforms traditional sequential models, achieving higher F1 scores in the three key merchant categories of bank transaction data (grocery, clothing, and gas stations) that is crucial for targeted marketing campaigns. This performance is attributed to the model's enhanced semantic understanding and adaptability which enables it to better manage minority classes and predict transaction categories with greater accuracy. These findings highlight the potential of LLMs in predicting human behavior.
• Abstract（参考訳）: 本研究では,金融取引データから商店カテゴリーの予測において,確率的ベースライン,CNN,LSTM,微調整LDMなどの様々な予測モデルの性能を評価した。 トレーニング用のバンクAとテスト用のバンクBのデータセットを利用することで、自然言語形式に変換された顧客データを使用してトレーニングされた微調整ミストラルインストラクションモデルの優れた予測能力が実証された。 本研究の方法論は,LoRA(LowRank Adaptation of Large Language Models)による微調整ミストラルの指導と,その膨大な事前学習された知識を金融取引の特定の領域に適応させることである。 Mistralモデルは従来のシーケンシャルモデルよりも優れており、ターゲットとなるマーケティングキャンペーンに不可欠な3つの主要な取引データ(食料品、衣類、ガソリンスタンド)でF1スコアを達成している。 このパフォーマンスは、モデルの強化されたセマンティック理解と適応性によるもので、マイノリティクラスをよりよく管理し、より正確なトランザクションカテゴリを予測することができる。 これらの知見は、人間の行動を予測する上でのLLMの可能性を強調している。

関連論文リスト

• Enhancing Financial Domain Adaptation of Language Models via Model Augmentation [2.9960693856871545]
  本研究は、金融分野への適応における言語モデル(CALM)の構成の有効性を実証する。 我々は,強力な応答機能を有するLCMの財務性能を向上させるためのCALMを開発した。
  論文  参考訳（メタデータ） (2024-11-14T07:28:09Z)
• BreakGPT: Leveraging Large Language Models for Predicting Asset Price Surges [55.2480439325792]
  本稿では,時系列予測や資産価格の急上昇の予測に特化して,新たな大規模言語モデル(LLM)アーキテクチャであるBreakGPTを紹介する。 我々は、最小限のトレーニングで財務予測を行うための有望なソリューションとしてBreakGPTを紹介し、局所的およびグローバルな時間的依存関係をキャプチャする強力な競合相手として紹介する。
  論文  参考訳（メタデータ） (2024-11-09T05:40:32Z)
• Bayesian Regression for Predicting Subscription to Bank Term Deposits in Direct Marketing Campaigns [0.0]
  本研究の目的は,長期預金契約予測におけるロジットモデルとプロビットモデルの有効性を検討することである。 ターゲット変数はデータセット固有の不均衡を考慮してバランスが取れた。 ロジットモデルは、この分類問題を扱う際に、プロビットモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-28T21:04:58Z)
• Harnessing Earnings Reports for Stock Predictions: A QLoRA-Enhanced LLM Approach [6.112119533910774]
  本稿では、命令ベースの新しい手法と量子化低ランク適応(QLoRA)圧縮を組み合わせることで、LLM(Large Language Models)命令を微調整することで、高度なアプローチを提案する。 近年の市場指標やアナリストの成績等「外部要因」を統合して、リッチで教師付きデータセットを作成する。 この研究は、最先端のAIを微調整された財務データに統合する能力を実証するだけでなく、AI駆動の財務分析ツールを強化するための将来の研究の道を開く。
  論文  参考訳（メタデータ） (2024-08-13T04:53:31Z)
• F-FOMAML: GNN-Enhanced Meta-Learning for Peak Period Demand Forecasting with Proxy Data [65.6499834212641]
  本稿では,需要予測をメタラーニング問題として定式化し,F-FOMAMLアルゴリズムを開発した。 タスク固有のメタデータを通してドメインの類似性を考慮することにより、トレーニングタスクの数が増加するにつれて過剰なリスクが減少する一般化を改善した。 従来の最先端モデルと比較して,本手法では需要予測精度が著しく向上し,内部自動販売機データセットでは平均絶対誤差が26.24%,JD.comデータセットでは1.04%削減された。
  論文  参考訳（メタデータ） (2024-06-23T21:28:50Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Harnessing Large Language Models as Post-hoc Correctors [6.288056740658763]
  任意の機械学習モデルの予測に対する修正を提案するために,LLMがポストホックな修正器として機能することを示す。 我々は、データセットのラベル情報と、検証データセット上のMLモデルの予測を組み込むことで、文脈知識データベースを構築する。 テキスト解析と分子予測に関する実験結果から, モデルの性能が最大39%向上することが示唆された。
  論文  参考訳（メタデータ） (2024-02-20T22:50:41Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
  ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。 我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。