論文の概要: TransactionGPT
- arxiv url: http://arxiv.org/abs/2511.08939v1
- Date: Thu, 13 Nov 2025 01:20:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-13 22:34:54.315093
- Title: TransactionGPT
- Title(参考訳): TransactionGPT
- Authors: Yingtong Dou, Zhimeng Jiang, Tianyi Zhang, Mingzhi Hu, Zhichao Xu, Shubham Jain, Uday Singh Saini, Xiran Fan, Jiarui Sun, Menghai Pan, Junpeng Wang, Xin Dai, Liang Wang, Chin-Chia Michael Yeh, Yujie Fan, Vineeth Rakesh, Huiyuan Chen, Mangesh Bendre, Zhongfang Zhuang, Xiaoting Li, Prince Aboagye, Vivian Lai, Minghua Xu, Hao Yang, Yiwei Cai, Mahashweta Das, Yuzhong Chen,
- Abstract要約: TransactionGPTは、世界最大の決済ネットワーク内のコンシューマトランザクションデータの基盤モデルである。
本稿では,支払いトランザクションデータの複雑なダイナミクスを捉えるために,新しい3D-Transformerアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 41.91447050171923
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present TransactionGPT (TGPT), a foundation model for consumer transaction data within one of world's largest payment networks. TGPT is designed to understand and generate transaction trajectories while simultaneously supporting a variety of downstream prediction and classification tasks. We introduce a novel 3D-Transformer architecture specifically tailored for capturing the complex dynamics in payment transaction data. This architecture incorporates design innovations that enhance modality fusion and computational efficiency, while seamlessly enabling joint optimization with downstream objectives. Trained on billion-scale real-world transactions, TGPT significantly improves downstream classification performance against a competitive production model and exhibits advantages over baselines in generating future transactions. We conduct extensive empirical evaluations utilizing a diverse collection of company transaction datasets spanning multiple downstream tasks, thereby enabling a thorough assessment of TGPT's effectiveness and efficiency in comparison to established methodologies. Furthermore, we examine the incorporation of LLM-derived embeddings within TGPT and benchmark its performance against fine-tuned LLMs, demonstrating that TGPT achieves superior predictive accuracy as well as faster training and inference. We anticipate that the architectural innovations and practical guidelines from this work will advance foundation models for transaction-like data and catalyze future research in this emerging field.
- Abstract(参考訳): 本稿では、世界最大の決済ネットワークの1つであるTransactionGPT(TGPT)について述べる。
TGPTは、さまざまな下流予測と分類タスクを同時にサポートしながら、トランザクショントラジェクトリを理解し、生成するように設計されている。
本稿では,支払いトランザクションデータの複雑なダイナミクスを捉えるために,新しい3D-Transformerアーキテクチャを提案する。
このアーキテクチャには、モダリティ融合と計算効率を向上させる設計革新が含まれており、下流の目的と共同最適化をシームレスに実現している。
数十億ドル規模の実世界のトランザクションをトレーニングしたTGPTは、競争力のある生産モデルと比較して、下流の分類性能を大幅に改善し、将来のトランザクションを生成する上でのベースラインよりも優位性を示す。
複数の下流タスクにまたがる多種多様な企業取引データセットの収集を利用した広範な実証評価を行い、確立された手法と比較してTGPTの有効性と効率の徹底的な評価を可能にする。
さらに,TGPT 内に LLM 由来の埋め込みを組み込んで,その性能を微調整 LLM と比較し,TGPT がより優れた予測精度と高速なトレーニングと推論を実現することを示す。
この研究から得られたアーキテクチャの革新と実践的ガイドラインは、トランザクションのようなデータの基礎モデルを進め、この新興分野における将来の研究を促進することを期待する。
関連論文リスト
- Better with Less: Small Proprietary Models Surpass Large Language Models in Financial Transaction Understanding [1.4125114383423856]
本稿では, 3種類のトランスフォーマーモデルの評価実験を行い, 事前学習型LLM, 微調整型LLM, およびスクラッチから開発した小型プロプライエタリモデルについて述べる。
本研究は,ドメイン固有のニーズに基づいたモデル選択の重要性を強調した。
論文 参考訳(メタデータ) (2025-09-30T05:23:08Z) - The carbon cost of materials discovery: Can machine learning really accelerate the discovery of new photovoltaics? [0.05524804393257919]
高速太陽光発電 (PV) 材料の発見において, 計算スクリーニングは実験の強力な補完となる。
ほとんどの場合、太陽エネルギー変換に関連する電子的および光学的性質を推定するために密度汎関数理論(DFT)に依存する。
マシンラーニング(ML)モデルは先日,DFTのサロゲートとして注目され,リソース使用の大幅な削減と,競争力のある予測パフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-07-17T15:55:02Z) - BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing a Competitive Large Language Model Baseline [34.518474035662905]
LLM(Large Language Models)の一般的な能力は、いくつかの機関によって商業秘密として扱われる広範な事前訓練データセットに大きく依存している。
我々は、その有効性と可能性を検証するために、普遍的に適用可能なデータ処理パイプラインの詳細をオープンソース化する。
BaichuanSEEDはトレーニングを通じて一貫性と予測可能性を示し、包括的なベンチマークで同等のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-08-27T14:08:23Z) - Implicitly Guided Design with PropEn: Match your Data to Follow the Gradient [52.2669490431145]
PropEnは'matching'にインスパイアされている。
一致したデータセットによるトレーニングは、データ分布内に留まりながら、興味のある性質の勾配を近似することを示す。
論文 参考訳(メタデータ) (2024-05-28T11:30:19Z) - A Bargaining-based Approach for Feature Trading in Vertical Federated
Learning [54.51890573369637]
本稿では,垂直的フェデレートラーニング(VFL)において,経済的に効率的な取引を促進するための交渉型特徴取引手法を提案する。
当社のモデルでは,収益ベース最適化の目的を考慮し,パフォーマンスゲインベースの価格設定を取り入れている。
論文 参考訳(メタデータ) (2024-02-23T10:21:07Z) - Parameter-Efficient Fine-Tuning for Pre-Trained Vision Models: A Survey and Benchmark [95.0484665958967]
事前学習された視覚モデル(PVM)は、幅広い下流の視覚タスクに顕著な適応性を示した。
これらのモデルが数十億または数兆のパラメータにスケールするにつれて、計算と記憶の要求が高いため、従来の完全な微調整はますます非現実的になっている。
パラメータ効率の良いファインチューニング(PEFT)は、モデルパラメータを最小限に調整しながら、完全なファインチューニングに匹敵するパフォーマンスを実現するための、有望な代替手段として登場した。
論文 参考訳(メタデータ) (2024-02-03T19:12:20Z) - A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking [78.2700757742992]
タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。
最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。
本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
論文 参考訳(メタデータ) (2022-07-02T13:27:59Z) - Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product
Retrieval [152.3504607706575]
本研究の目的は, 細粒度製品カテゴリを対象とした, 弱制御型マルチモーダル・インスタンスレベルの製品検索である。
まず、Product1Mデータセットをコントリビュートし、2つの実際のインスタンスレベルの検索タスクを定義します。
我々は、マルチモーダルデータから重要な概念情報を組み込むことができるより効果的なクロスモーダルモデルを訓練するために活用する。
論文 参考訳(メタデータ) (2022-06-17T15:40:45Z) - Data transformation based optimized customer churn prediction model for
the telecommunication industry [1.3100459580864314]
本研究は,通信産業における顧客チャーン予測(CCP)の文脈において行ったものである。
我々は,CCP問題に対するデータ変換手法と機械学習モデルを組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2022-01-11T17:23:55Z) - Portfolio Optimization with 2D Relative-Attentional Gated Transformer [9.541129630971689]
DPGRGT(Relative-attentional Gated Transformer)モデルを用いた新しい決定論的政策グラデーションを提案する。
学習可能な相対的な位置埋め込みを時間と資産の軸に適用することにより、モデルは財務データの特異な構造をよりよく理解する。
20年間の米国株式市場データを用いた実験では,モデルがベースラインモデルを上回り,その効果を実証した。
論文 参考訳(メタデータ) (2020-12-27T14:08:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。