論文の概要: PRAGMA: Revolut Foundation Model

• arxiv url: http://arxiv.org/abs/2604.08649v1
• Date: Thu, 09 Apr 2026 18:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.519674
• Title: PRAGMA: Revolut Foundation Model
• Title（参考訳）: PRAGMA:Revolut Foundation Model
• Authors: Maxim Ostroukhov, Ruslan Mikhailov, Vladimir Iashin, Artem Sokolov, Andrei Akshonov, Vitaly Protasov, Dmitrii Beloborodov, Vince Mullin, Roman Yokunda Enzmann, Georgios Kolovos, Jason Renders, Pavel Nesterov, Anton Repushko,
• Abstract要約: PRAGMAは、マルチソースバンキングイベントシーケンスの基礎モデルのファミリーである。 クレジットスコアリング、不正検出、ライフタイムバリュー予測など、幅広いダウンストリームタスクをサポートする。
• 参考スコア（独自算出の注目度）: 3.159538292278343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern financial systems generate vast quantities of transactional and event-level data that encode rich economic signals. This paper presents PRAGMA, a family of foundation models for multi-source banking event sequences. Our approach pre-trains a Transformer-based architecture with masked modelling on a large-scale, heterogeneous banking event corpus using a self-supervised objective tailored to the discrete, variable-length nature of financial records. The resulting model supports a wide range of downstream tasks such as credit scoring, fraud detection, and lifetime value prediction: strong performance can be achieved by training a simple linear model on top of the extracted embeddings and can be further improved with lightweight fine-tuning. Through extensive evaluation on downstream tasks, we demonstrate that PRAGMA achieves superior performance across multiple domains directly from raw event sequences, providing a general-purpose representation layer for financial applications.
• Abstract（参考訳）: 現代の金融システムでは、豊富な経済シグナルを符号化する大量の取引やイベントレベルのデータを生成する。 本稿では,マルチソースバンキングイベントシーケンスの基盤モデルであるPRAGMAについて述べる。 本手法は,財務記録の離散的かつ可変長の性質に合わせた自己監督的目標を用いて,大規模で異質な銀行イベントコーパスをマスクしたトランスフォーマーベースのアーキテクチャを事前訓練する。 得られたモデルは、クレジットスコアリング、不正検出、ライフタイムバリュー予測などの幅広い下流タスクをサポートし、抽出した埋め込みの上に単純な線形モデルをトレーニングすることで、強力な性能を達成でき、軽量な微調整によりさらに改善することができる。 下流タスクの広範囲な評価を通じて、PRAGMAは生のイベントシーケンスから直接複数のドメインにまたがって優れたパフォーマンスを達成し、金融アプリケーションのための汎用的な表現層を提供することを示す。

関連論文リスト

• TokaMind: A Multi-Modal Transformer Foundation Model for Tokamak Plasma Dynamics [56.073642366268764]
  TokaMindは、核融合プラズマモデリングのためのオープンソースの基礎モデルフレームワークである。 公開されているMASTデータセットから、異種トカマク診断をトレーニングする。 我々は最近発表されたMASTベンチマークのTokaMarkでTokaMindを評価した。
  論文  参考訳（メタデータ） (2026-02-16T12:26:07Z)
• Dynamic Generation of Multi-LLM Agents Communication Topologies with Graph Diffusion Models [99.85131798240808]
  我々はtextitGuided Topology Diffusion (GTD) と呼ばれる新しい生成フレームワークを導入する。 条件付き離散グラフ拡散モデルにインスパイアされたGTD式は、反復的な構成過程としてトポロジー合成を行う。 各ステップで生成は、多目的報酬を予測する軽量プロキシモデルによって制御される。 実験により、GTDは高いタスク適応性、スパース、効率的な通信トポロジを生成できることが示されている。
  論文  参考訳（メタデータ） (2025-10-09T05:28:28Z)
• MASS: Muli-agent simulation scaling for portfolio construction [17.363056358369143]
  本稿では,マルチエージェント・スケーリング・シミュレーション(MASS)を紹介する。 MASSの中核は、不均一なエージェントの最適分布を動的に学習するために、後方最適化プロセスを採用する。 エージェントの数が指数関数的に増加するにつれて(最大512まで)、集約された決定は徐々に過剰なリターンを増大させる。
  論文  参考訳（メタデータ） (2025-05-15T13:27:18Z)
• LENS: Large Pre-trained Transformer for Exploring Financial Time Series Regularities [3.475989206546412]
  金融時系列の事前学習モデルである textbfLENS を提案する。 textbfLENSは、慎重に構築されたモデルアーキテクチャを通じて、金融システムの複雑さを効果的にキャプチャする。 我々の研究は、高雑音環境下で事前学習された時系列モデルの開発に関する実践的な洞察を提供する。
  論文  参考訳（メタデータ） (2024-08-19T15:59:46Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• Towards a Foundation Purchasing Model: Pretrained Generative Autoregression on Transaction Sequences [0.0]
  本稿では,金融取引の文脈的埋め込みを得るための生成事前学習手法を提案する。 さらに,510億の取引を含む180の発行銀行のデータコーパスを用いて,埋め込みモデルの大規模事前学習を行う。
  論文  参考訳（メタデータ） (2024-01-03T09:32:48Z)
• Generative AI for End-to-End Limit Order Book Modelling: A Token-Level Autoregressive Generative Model of Message Flow Using a Deep State Space Network [7.54290390842336]
  本稿では,トークン化制限順序帳(LOB)メッセージを生成するエンドツーエンドの自動回帰生成モデルを提案する。 NASDAQ の株式 LOB を用いて、メッセージデータのためのカスタムトークン化器を開発し、逐次桁の群をトークンに変換する。 結果は,低モデルパープレキシティによって証明されたように,データの分布を近似する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2023-08-23T09:37:22Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)
• CoLES: Contrastive Learning for Event Sequences with Self-Supervision [63.3568071938238]
  本研究では,実世界のユーザが生成する個別イベントシーケンスにおける自己教師型学習の課題に対処する。 従来,音声やコンピュータビジョンの領域で使われていたコントラスト学習に適応する新しい手法"CoLES"を提案する。
  論文  参考訳（メタデータ） (2020-02-19T15:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。