論文の概要: EventGPT: Next-Event Pretraining on Banking Customer Histories

• arxiv url: http://arxiv.org/abs/2611.03302v1
• Date: Mon, 02 Nov 2026 15:36:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 05:16:28.613715
• Title: EventGPT: Next-Event Pretraining on Banking Customer Histories
• Title（参考訳）: EventGPT: 銀行顧客の履歴をトレーニングする次のイベント
• Abstract要約: 我々は,階層型因果変換器であるEventGPTを,次点最大推定により事前学習する。 EventGPTはイベント毎に1つの状態を保持し、ウィンドウで1つのL4 GPUで最大8,192トークンで約2時間トレーニングする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A model pretrained to predict a customer's next event can estimate the probability of future events without training on their labels and provide a reusable representation for supervised downstream banking tasks. We pretrain EventGPT, a hierarchical causal transformer, by next-token maximum likelihood estimation on the public Multimodal Banking Dataset (MBD-mini: 100,224 clients, 38.8 million transactions and 66.3 million geolocation pings). Keeping one state per event, EventGPT trains in about two hours on one L4 GPU at windows up to 8,192 tokens. From its next-event distribution, with no labels, EventGPT scores five targets of the form "the client makes a transaction of a given kind for the first time next month" at ROC-AUC 0.79 to 0.92. Gradient boosting on 114 engineered features needs 10,000 to 300,000 labeled client-months to match it on four targets and stays below it on the fifth. For product prediction, frozen EventGPT embeddings score below the engineered features (mean ROC-AUC 0.787 against 0.808 over five test folds), and a rank-averaged ensemble of EventGPT, profile fields and token counts with the engineered features adds 0.014 to 0.017, of which 0.007 to 0.016 is EventGPT's own. The code and pretrained weights are released.
• Abstract（参考訳）: 顧客の次のイベントを予測するために事前訓練されたモデルは、ラベルをトレーニングせずに将来のイベントの確率を推定でき、下流の銀行業務を監督する再利用可能な表現を提供する。 我々は、公共マルチモーダルバンキングデータセット(MBD-mini: 100,224クライアント、38,8百万トランザクション、66.3百ジオロケーションピン)の次点推定により、階層的因果変換器であるEventGPTを事前訓練する。 EventGPTはイベント毎に1つの状態を保持し、ウィンドウで1つのL4 GPUで最大8,192トークンで約2時間トレーニングする。 EventGPTは、ラベルのない次世代ディストリビューションから、ROC-AUC 0.79 から 0.92 において、"クライアントが最初に特定の種類のトランザクションを行う"という形式の5つのターゲットをスコア付けしている。 114のエンジニアリング機能に対するグラディエントな強化には、4つのターゲットにマッチし、5番目のターゲットに留まるために1万から30万のラベル付きクライアント月が必要である。 製品予測では、フリーズされたEventGPT埋め込みは、エンジニアリングされた機能(平均5つのテストフォールドに対してROC-AUC 0.787対0.808)よりも低いスコアで、EventGPTのランク付けされたアンサンブル、プロファイルフィールド、トークンカウントとエンジニアリングされた機能で、0.014から0.017に加算され、そのうち0.007から0.016はEventGPT自身である。 コードと事前訓練されたウェイトがリリースされます。

関連論文リスト

• ORDERS: An Empirical Study of Norm-Rank Aggregation for Personalized Federated Learning [0.0]
  本稿では,共有バックボーン,プライベートな残差アダプタと分類器,および更新ノルムによって割り当てられた幾何重みを組み合わせた構成について検討する。 8つの設定、2つのデータセット、データセット毎に1つの固定パーティションに5つのトレーニングシード。 2クラス毎のCIFAR-10では、ORDERS 80.51 pm 0.79%$ネイティブ平均クライアント精度が79.02 pm 1.42%$のFedPer-R1と80.27 pm 0.73%$の一致した一様ウェイト制御が達成されている。
  論文  参考訳（メタデータ） (2026-10-07T16:31:44Z)
• Cadence: Error-Bounded Lossy Compression of Demand Time Series with a Time-Series Foundation Model [0.0]
  Cadenceは、数値時系列のエラーバウンド損失圧縮機である。 330Mシリーズの基礎モデルと適応型算術コーダを組み合わせている。
  論文  参考訳（メタデータ） (2026-09-05T10:25:09Z)
• Accounting Graph Transformer for Short-History Multi-KPI Forecasting in Small Businesses [1.3750624267664158]
  本研究は、13の所得計算、バランスシート、キャッシュフロー、および71の月次台帳のワーキング・キャピタル・パフォーマンス指標を共同12カ月間予測した。 11,993の予測は1,060の未確認企業に由来するが、AGTはサンプルマクロ平均絶対誤差(MAE)を0.6990 pm 0.0013$で達成している。 AGTは、シード-42の比較において、LightGBM、TimeMixer、SOFTSと全13でベストマッチする。
  論文  参考訳（メタデータ） (2026-08-07T09:47:44Z)
• Explainable Artificial Intelligence for Customer Churn Prediction in Telecommunications: A Framework for CRM Integration [0.0]
  リスクスコアとベクトルを階層化されたセグメンテーションに変換する4層CRM統合アーキテクチャを導入する。 最高リスクのクインタイルを目標にすると、全体のチャーンを3.3～5.3ポイント削減し、キャンペーンサイクル当たり199K〜319Kと見積もられている。
  論文  参考訳（メタデータ） (2026-07-01T15:30:16Z)
• ProCUA-SFT Technical Report [80.97543110323542]
  コンピュータ使用エージェント(CUA)の訓練には、全デスクトップ環境で収集された大規模で多様な軌跡データが必要である。 93Kの合成軌道から抽出した3.1MステップレベルのSFTサンプルのデータセットであるProCUA-SFTについて述べる。 ProCUA-SFTの微調整UI-TARS 7Bは、OSWorldで45.0%、ベースモデルよりも18.7ポイント改善されている。
  論文  参考訳（メタデータ） (2026-06-15T22:04:11Z)
• Temporal Fusion Transformer for Multi-Horizon Probabilistic Forecasting of Weekly Retail Sales [5.023398151088689]
  本稿では、TFT(Temporal Fusion Transformer)を用いた毎週のウォルマート販売に関する新しい研究について述べる。 パイプラインはQuantile Lossを通じて1週間から5週間の確率予測を生成する。 固定された2012年のホールトアウトデータセットで、TFTは1店舗当たり57.9k米ドルのRMSEと0.9875ドルのR2ドルを達成している。
  論文  参考訳（メタデータ） (2025-11-01T13:34:29Z)
• Improving Event Definition Following For Zero-Shot Event Detection [66.27883872707523]
  ゼロショットイベント検出に対する既存のアプローチは通常、既知のイベントタイプをアノテートしたデータセット上でモデルをトレーニングする。 イベント定義に従うためのトレーニングモデルによるゼロショットイベント検出の改善を目指しています。
  論文  参考訳（メタデータ） (2024-03-05T01:46:50Z)
• Think before you speak: Training Language Models With Pause Tokens [73.61375226378712]
  言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。 代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう? 私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
  論文  参考訳（メタデータ） (2023-10-03T17:32:41Z)
• FengWu: Pushing the Skillful Global Medium-range Weather Forecast beyond 10 Days Lead [93.67314652898547]
  人工知能(AI)に基づく高度データ駆動型中距離気象予報システムFengWuについて紹介する。 FengWuは大気力学を正確に再現し、0.25度緯度で37の垂直レベルで将来の陸と大気の状態を予測することができる。 その結果、FengWuは予測能力を大幅に向上させ、熟練した中距離気象予報を10.75日間のリードまで拡張できることがわかった。
  論文  参考訳（メタデータ） (2023-04-06T09:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。