論文の概要: MINT: A Universal Zero-Shot Predictor for Transaction Data
- arxiv url: http://arxiv.org/abs/2608.14198v1
- Date: Fri, 14 Aug 2026 11:17:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.365068
- Title: MINT: A Universal Zero-Shot Predictor for Transaction Data
- Title（参考訳）: MINT:トランザクションデータのためのユニバーサルゼロショット予測器
- Abstract要約: 本稿では,プリトレーニングされたトランザクションシーケンスエンコーダを,軽量な埋め込み注入によりデコーダのみのLLMに接続するフレームワークであるMINTを提案する。
MINTは、分布内および分布外問合せの両方において、最先端の予測的問合せ性能を達成する。
MINTは分布内および分布外問合せの両方において,最先端の予測的問合せ性能を達成する。
- 参考スコア（独自算出の注目度）: 5.76828154035244
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Banks analyse sequential financial transaction data to perform many tasks, including fraud prevention, credit risk assessment and offer personalization. To improve the predictive accuracy of these tasks, Payments Foundation Models encode transaction sequence data as rich contextual embeddings, which can then be provided to task-specific models as features. However, these Foundation Models are not designed for flexible zero-shot reasoning across novel downstream prediction tasks, limiting their adaptability and utility. Existing LLM-based approaches to zero-shot prediction often fail to fully exploit the predictive signal within transaction data, while relying on costly text serialization or task-specific architectures that scale poorly. To address these limitations, we present the Multimodal Instruction Network for Transactions (MINT), a framework that connects a pretrained transaction sequence encoder to a decoder-only LLM through lightweight embedding injection, transaction-language alignment, and instruction tuning. We find that MINT achieves state-of-the-art predictive question-answering performance in both in-distribution and out-of-distribution questions, while substantially reducing input tokens, latency, and memory consumption compared to text-serialization baselines. Through comprehensive analyses of representations, alignment strategies, training data, and history length, we establish that compact transaction embeddings are a superior approach to transaction representation than text serialization for multimodal reasoning and zero-shot prediction tasks.
- Abstract（参考訳）: 銀行はシーケンシャルな金融取引データを分析し、不正防止、信用リスク評価、パーソナライズの提供など多くの業務を行う。
これらのタスクの予測精度を改善するため、Payments Foundation Modelsはトランザクションシーケンスデータをリッチなコンテキスト埋め込みとしてエンコードし、タスク固有のモデルに機能として提供する。
しかし、これらのファンデーションモデルは、新しい下流予測タスクにまたがる柔軟なゼロショット推論のために設計されておらず、適応性と実用性を制限している。
既存のLCMベースのゼロショット予測アプローチは、コストのかかるテキストシリアライズやスケールの悪いタスク固有のアーキテクチャに依存しながら、トランザクションデータ内の予測信号を完全に活用できないことが多い。
これらの制約に対処するために、MINT(Multimodal Instruction Network for Transactions)という、事前訓練されたトランザクションシーケンスエンコーダを、軽量な埋め込み注入、トランザクション言語アライメント、命令チューニングによってデコーダのみのLLMに接続するフレームワークを提示する。
MINTは,テキストシリアライズベースラインと比較して,入力トークン,レイテンシ,メモリ消費を大幅に削減しつつ,分布内および分布外の両方において,最先端の予測質問応答性能を実現する。
表現,アライメント戦略,トレーニングデータ,および履歴の包括的解析を通じて,マルチモーダル推論およびゼロショット予測タスクにおけるテキストシリアライズよりも,コンパクトなトランザクション埋め込みがトランザクション表現の優れたアプローチであることを示す。
関連論文リスト
- Financial Transaction Retrieval and Contextual Evidence for Knowledge-Grounded Reasoning [0.3947144942254943]
FinTRACEは、生のトランザクションを再利用可能な特徴表現に変換する検索ファーストアーキテクチャである。
パブリックとインダストリアルのベンチマークを通じて、FinTRACEは低スーパービジョントランザクション分析を大幅に改善する。
論文 参考訳（メタデータ） (2026-03-16T15:56:21Z) - Embedding-Aware Feature Discovery: Bridging Latent Representations and Interpretable Features in Event Sequences [5.03287845497428]
産業金融システムは、トランザクション、ユーザアクション、システムログなどの一時的なイベントシーケンスを運用する。
学習した埋め込みと機能ベースのパイプラインのギャップを埋める統合フレームワークであるEmbeding-Aware Feature Discovery (EAFD)を紹介します。
EAFDは2つの相補的基準を用いて、生のイベントシーケンスから直接特徴を発見し、評価し、洗練する。
論文 参考訳（メタデータ） (2026-03-16T14:29:26Z) - Fine-tuning MLLMs Without Forgetting Is Easier Than You Think [72.59321247529975]
分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。
その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。
我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
論文 参考訳（メタデータ） (2026-03-15T17:16:19Z) - Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs [66.63911043019294]
データ準備は、生のデータセットを識別し、データセット間の関係を解明し、それらから貴重な洞察を抽出することを目的としている。
本稿では,様々な下流タスクのためのデータ準備にLLM技術を用いることに焦点を当てる。
データクリーニング、標準化、エラー処理、計算、データ統合、データ豊か化という3つの主要なタスクにフィールドを編成するタスク中心の分類を導入します。
論文 参考訳（メタデータ） (2026-01-22T12:02:45Z) - Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。
既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。
そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-26T07:53:41Z) - Enhancing Foundation Models in Transaction Understanding with LLM-based Sentence Embeddings [26.118375969968437]
大きな言語モデル(LLM)は、より優れたセマンティック理解を通じて、この制限に対処することができる。
軽量トランザクションモデルのためのセマンティック初期化としてLLM生成の埋め込みを利用するハイブリッドフレームワークを提案する。
提案手法では,マルチソースデータ融合を用いて,商取引分野を豊かにし,一貫した埋め込み生成のための一語制約原理を定めている。
論文 参考訳（メタデータ） (2025-12-01T23:30:17Z) - LOBERT: Generative AI Foundation Model for Limit Order Book Messages [52.54676013594764]
LOBERTは,金融リミットオーダーブック(LOB)データのための汎用エンコーダのみの基盤モデルである。
LOBERTは、完全な多次元メッセージを単一トークンとして扱う新しいトークン化スキームを使用して、LOBデータに独自のBERTアーキテクチャを適用する。
これらの手法により、LOBRTは、中間価格の動きや次のメッセージの予測などのタスクにおいて、主要なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-11-16T11:42:48Z) - Semi-Supervised Bayesian GANs with Log-Signatures for Uncertainty-Aware Credit Card Fraud Detection [0.0]
本稿では、時系列分類タスクとして定式化されたクレジットカード不正検出のための、新たな生成半教師付きフレームワークを提案する。
我々は、ターゲットデータ拡張のための条件付き生成的適応ネットワーク(GAN)を拡張し、ベイズ推論を統合して予測分布を取得し、不確実性を定量化する。
本手法は,クレジットカード取引データ用シミュレータである BankSim を用いて,ラベル付きサンプルの比率の異なるモデルを用いて評価した。
論文 参考訳（メタデータ） (2025-08-31T16:57:02Z) - Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。
本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
論文 参考訳（メタデータ） (2025-02-17T18:04:39Z) - Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。
実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
論文 参考訳（メタデータ） (2024-06-05T20:19:09Z) - Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。
この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。
しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。
この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文 参考訳（メタデータ） (2022-07-22T17:52:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。