論文の概要: A Foundation Model for Multimodal Event Sequences in Financial Applications
- arxiv url: http://arxiv.org/abs/2607.09955v1
- Date: Fri, 10 Jul 2026 20:19:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.262985
- Title: A Foundation Model for Multimodal Event Sequences in Financial Applications
- Title（参考訳）: 金融分野におけるマルチモーダルイベント系列の基盤モデル
- Abstract要約: 本稿では,ユーザイベントのマルチモーダルシーケンスに基づく基礎変換モデルの事前学習に基づくアプローチを提案する。
提案システムは,開発オーバーヘッドを低減しつつ,従来のタスク固有モデルより優れている。
このアプローチは、東ヨーロッパの大手銀行の1つで本番環境に展開され、結果としてビジネスメトリクスが測定可能な改善をもたらした。
- 参考スコア（独自算出の注目度）: 34.57471442552313
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Predictive modeling is a core component of modern financial services, where a wide range of tasks are traditionally addressed using separate models trained on manually engineered tabular features. This task-specific approach limits reuse and makes it difficult to fully exploit heterogeneous data sources such as transaction histories and digital interaction signals. In this paper, we present an approach based on pretraining a foundation transformer model on multimodal sequences of user events. Events from multiple data sources are unified into a single chronological sequence, enabling early fusion of heterogeneous modalities and learning of general-purpose representations via a next-event prediction objective. These representations are combined with existing engineered user features, on top of which lightweight neural models are trained for multiple downstream tasks. The proposed system outperforms traditional task-specific models while reducing development overhead. The approach was deployed in production at one of the biggest banks in Eastern Europe, resulting in measurable improvements in business metrics.
- Abstract（参考訳）: 予測モデリングは現代の金融サービスの中核的なコンポーネントであり、手動で設計した表型機能に基づいてトレーニングされた独立したモデルを使用して、従来は幅広いタスクに対処されてきた。
このタスク固有のアプローチは再利用を制限し、トランザクション履歴やデジタルインタラクション信号といった異種データソースを完全に活用することが困難になる。
本稿では,ユーザイベントのマルチモーダルシーケンスに基づくファンデーショントランスフォーマーモデルの事前学習に基づくアプローチを提案する。
複数のデータソースからのイベントは単一の時系列シーケンスに統合され、不均一なモダリティの早期融合と、次のイベント予測目的による汎用表現の学習が可能になる。
これらの表現は、既存のエンジニアリングされたユーザー機能と組み合わせられ、その上に、軽量なニューラルモデルが複数の下流タスクのためにトレーニングされている。
提案システムは,開発オーバーヘッドを低減しつつ,従来のタスク固有モデルより優れている。
このアプローチは、東ヨーロッパの大手銀行の1つで本番環境に展開され、結果としてビジネスメトリクスが測定可能な改善をもたらした。
関連論文リスト
- PRAGMA: Revolut Foundation Model [3.159538292278343]
PRAGMAは、マルチソースバンキングイベントシーケンスの基礎モデルのファミリーである。
クレジットスコアリング、不正検出、ライフタイムバリュー予測など、幅広いダウンストリームタスクをサポートする。
論文 参考訳（メタデータ） (2026-04-09T18:00:00Z) - SITS-DECO: A Generative Decoder Is All You Need For Multitask Satellite Image Time Series Modelling [0.0]
本稿では,EOデータに統一シーケンスフレーミングを適用する概念実証モデルであるSITS-DECOを紹介する。
モデルが単一統一アーキテクチャ内で複数の教師付きタスクや自己監督型タスクを実行できることを示す。
単純さと空間的文脈の欠如にもかかわらず、SITS-DECOは作物型分類におけるより大きなEO基盤モデルよりも優れている。
論文 参考訳（メタデータ） (2025-10-21T14:42:55Z) - NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。
NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。
さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
論文 参考訳（メタデータ） (2025-10-15T16:25:18Z) - A Wireless Foundation Model for Multi-Task Prediction [50.21098141769079]
多様な予測区間をサポートする無線ネットワークにおけるマルチタスク予測のための統合基盤モデルを提案する。
大規模データセットをトレーニングした後、提案した基礎モデルは、新しいタスクにおいて、目に見えないシナリオとゼロショットのパフォーマンスに強力な一般化を示す。
論文 参考訳（メタデータ） (2025-07-08T12:37:55Z) - Intention-Conditioned Flow Occupancy Models [80.42634994902858]
大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。
同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。
生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
論文 参考訳（メタデータ） (2025-06-10T15:27:46Z) - Advances in Multimodal Adaptation and Generalization: From Traditional Approaches to Foundation Models [54.196385799229006]
この調査は、従来のアプローチから基礎モデルへの進歩に関する、初めての包括的なレビューを提供する。
1)マルチモーダルドメイン適応,(2)マルチモーダルテスト時間適応,(3)マルチモーダルドメイン一般化,(4)マルチモーダルファンデーションモデルの助けを借りたドメイン適応と一般化,(5)マルチモーダルファンデーションモデルの適応。
論文 参考訳（メタデータ） (2025-01-30T18:59:36Z) - QARM: Quantitative Alignment Multi-Modal Recommendation at Kuaishou [23.818456863262494]
異なる下流モデルに対して、専門的で訓練可能なマルチモーダル情報をカスタマイズするための定量的なマルチモーダルフレームワークを導入する。
ダウンストリームタスクの利用における2つの難題に着想を得て、異なるダウンストリームモデルに対して、専門的で訓練可能なマルチモーダル情報をカスタマイズする定量的なマルチモーダルフレームワークを導入する。
論文 参考訳（メタデータ） (2024-11-18T17:08:35Z) - The Non-Local Model Merging Problem: Permutation Symmetries and Variance Collapse [25.002218722102505]
モデルマージは、特定のタスクでトレーニングされた複数のエキスパートモデルの重みを、単一のマルチタスクモデルに効率的に結合することを目的としている。
この研究は、"非ローカル"マージのより困難なシナリオを探求する。
標準的なマージ技術は、この非局所的な環境で効果的に一般化できないことが多い。
本稿では,タスク毎のマージモデルの出力アクティベーションを再スケール・シフトするマルチタスク手法を提案する。
論文 参考訳（メタデータ） (2024-10-16T17:41:59Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳（メタデータ） (2023-10-04T04:26:33Z) - An Empirical Study of Multimodal Model Merging [148.48412442848795]
モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。
我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。
本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
論文 参考訳（メタデータ） (2023-04-28T15:43:21Z) - A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。
基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
論文 参考訳（メタデータ） (2020-02-21T23:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。