論文の概要: Your Spending Needs Attention: Modeling Financial Habits with Transformers

• arxiv url: http://arxiv.org/abs/2507.23267v1
• Date: Thu, 31 Jul 2025 05:56:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 14:11:42.123362
• Title: Your Spending Needs Attention: Modeling Financial Habits with Transformers
• Title（参考訳）: 変圧器による金融行動のモデル化
• Authors: D. T. Braithwaite, Misael Cavalcanti, R. Austin McEver, Hiroto Udagawa, Daniel Silva, Rohan Ramanath, Felipe Meneses, Arissa Yoshida, Evan Wingert, Matheus Ramos, Brian Zanfelice, Aman Gupta,
• Abstract要約: 本稿では,トランザクションデータに対する変換器を用いた表現学習モデルについて検討する。 本稿では,テキストと構造化属性の両方を扱うトランスフォーマーモデルを適用することにより,トランザクションデータによるSSLの利用を可能にする手法を提案する。
• 参考スコア（独自算出の注目度）: 2.5960274245156922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predictive models play a crucial role in the financial industry, enabling risk prediction, fraud detection, and personalized recommendations, where slight changes in core model performance can result in billions of dollars in revenue or losses. While financial institutions have access to enormous amounts of user data (e.g., bank transactions, in-app events, and customer support logs), leveraging this data effectively remains challenging due to its complexity and scale. Thus, in many financial institutions, most production models follow traditional machine learning (ML) approaches by converting unstructured data into manually engineered tabular features. Conversely, other domains (e.g., natural language processing) have effectively utilized self-supervised learning (SSL) to learn rich representations from raw data, removing the need for manual feature extraction. In this paper, we investigate using transformer-based representation learning models for transaction data, hypothesizing that these models, trained on massive data, can provide a novel and powerful approach to understanding customer behavior. We propose a new method enabling the use of SSL with transaction data by adapting transformer-based models to handle both textual and structured attributes. Our approach, denoted nuFormer, includes an end-to-end fine-tuning method that integrates user embeddings with existing tabular features. Our experiments demonstrate improvements for large-scale recommendation problems at Nubank. Notably, these gains are achieved solely through enhanced representation learning rather than incorporating new data sources.
• Abstract（参考訳）: 予測モデルは金融業界において重要な役割を担っており、リスク予測、不正検出、パーソナライズされたレコメンデーションを可能にしている。 金融機関は膨大な量のユーザーデータ(銀行取引、アプリ内イベント、カスタマーサポートログなど)にアクセスできますが、その複雑さと規模のため、このデータを有効に活用することは困難です。 したがって、多くの金融機関では、ほとんどの生産モデルは、構造化されていないデータを手動で設計した表形式の特徴に変換することによって、従来の機械学習(ML)アプローチに従っている。 逆に、他のドメイン(例えば自然言語処理)は、自己教師付き学習(SSL)を利用して生データからリッチな表現を学習し、手動の特徴抽出の必要性を排除している。 本稿では,トランザクションデータに対するトランスフォーマーに基づく表現学習モデルを用いて,大規模なデータに基づいてトレーニングされたモデルが,顧客の行動を理解するための新しい強力なアプローチを提供することができることを仮定する。 本稿では,テキストと構造化属性の両方を扱うトランスフォーマーモデルを適用することにより,トランザクションデータによるSSLの利用を可能にする手法を提案する。 我々のアプローチはnuFormerと呼ばれ、ユーザ埋め込みを既存のタブ形式の機能と統合するエンドツーエンドの微調整手法を含んでいる。 本実験は,Nubankにおける大規模レコメンデーション問題の改善を実証するものである。 特に、これらのゲインは、新しいデータソースを組み込むのではなく、拡張された表現学習によってのみ達成される。

関連論文リスト

• Forgetting: A New Mechanism Towards Better Large Language Model Fine-tuning [53.398270878295754]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) において重要な役割を果たす。 各コーパス内のトークンを、モデルパフォーマンスを改善するのに有用かどうかに基づいて、正と負の2つの部分に分類することを提案する。 我々は、よく確立されたベンチマークで実験を行い、この忘れるメカニズムが全体のモデル性能を向上するだけでなく、より多様なモデル応答を促進することを発見した。
  論文  参考訳（メタデータ） (2025-08-06T11:22:23Z)
• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Instruction-Based Fine-tuning of Open-Source LLMs for Predicting Customer Purchase Behaviors [1.4440000007050255]
  微調整ミストラルインストラクションモデルの優れた予測能力が実証された。 Mistralモデルは従来のシーケンシャルモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-01-28T11:34:22Z)
• Class-Imbalanced-Aware Adaptive Dataset Distillation for Scalable Pretrained Model on Credit Scoring [10.737033782376905]
  金融データセット上での大規模事前学習モデルの適用を拡大するための新しいフレームワークを提案する。 我々は,データセット蒸留における不均衡認識技術を統合することにより,財務データセットの性能が向上した。
  論文  参考訳（メタデータ） (2025-01-18T06:59:36Z)
• Beyond Tree Models: A Hybrid Model of KAN and gMLP for Large-Scale Financial Tabular Data [28.34587057844627]
  TKGMLPは、浅いコルモゴロフ・アーノルドネットワークとGated Multilayer Perceptronを組み合わせた表型データのためのハイブリッドネットワークである。 我々は、TKGMLPを現実の信用スコアデータセットで検証し、最先端の結果を達成し、現在のベンチマークより優れています。 本稿では,財務データセットにおける数値的特徴の優位性に対処するために,数値的データのための新しい特徴符号化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-03T02:38:07Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• Towards a Foundation Purchasing Model: Pretrained Generative Autoregression on Transaction Sequences [0.0]
  本稿では,金融取引の文脈的埋め込みを得るための生成事前学習手法を提案する。 さらに,510億の取引を含む180の発行銀行のデータコーパスを用いて,埋め込みモデルの大規模事前学習を行う。
  論文  参考訳（メタデータ） (2024-01-03T09:32:48Z)
• Meta Knowledge Condensation for Federated Learning [65.20774786251683]
  既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。 これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
  論文  参考訳（メタデータ） (2022-09-29T15:07:37Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。