論文の概要: Better with Less: Small Proprietary Models Surpass Large Language Models in Financial Transaction Understanding

• arxiv url: http://arxiv.org/abs/2509.25803v1
• Date: Tue, 30 Sep 2025 05:23:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.439382
• Title: Better with Less: Small Proprietary Models Surpass Large Language Models in Financial Transaction Understanding
• Title（参考訳）: 最小限のプロプライエタリモデルによる金融取引理解における大規模言語モデルの実現
• Authors: Wanying Ding, Savinay Narendra, Xiran Shi, Adwait Ratnaparkhi, Chengrui Yang, Nikoo Sabzevar, Ziyan Yin,
• Abstract要約: 本稿では, 3種類のトランスフォーマーモデルの評価実験を行い, 事前学習型LLM, 微調整型LLM, およびスクラッチから開発した小型プロプライエタリモデルについて述べる。 本研究は,ドメイン固有のニーズに基づいたモデル選択の重要性を強調した。
• 参考スコア（独自算出の注目度）: 1.4125114383423856
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Analyzing financial transactions is crucial for ensuring regulatory compliance, detecting fraud, and supporting decisions. The complexity of financial transaction data necessitates advanced techniques to extract meaningful insights and ensure accurate analysis. Since Transformer-based models have shown outstanding performance across multiple domains, this paper seeks to explore their potential in understanding financial transactions. This paper conducts extensive experiments to evaluate three types of Transformer models: Encoder-Only, Decoder-Only, and Encoder-Decoder models. For each type, we explore three options: pretrained LLMs, fine-tuned LLMs, and small proprietary models developed from scratch. Our analysis reveals that while LLMs, such as LLaMA3-8b, Flan-T5, and SBERT, demonstrate impressive capabilities in various natural language processing tasks, they do not significantly outperform small proprietary models in the specific context of financial transaction understanding. This phenomenon is particularly evident in terms of speed and cost efficiency. Proprietary models, tailored to the unique requirements of transaction data, exhibit faster processing times and lower operational costs, making them more suitable for real-time applications in the financial sector. Our findings highlight the importance of model selection based on domain-specific needs and underscore the potential advantages of customized proprietary models over general-purpose LLMs in specialized applications. Ultimately, we chose to implement a proprietary decoder-only model to handle the complex transactions that we previously couldn't manage. This model can help us to improve 14% transaction coverage, and save more than \$13 million annual cost.
• Abstract（参考訳）: 金融取引の分析は、規制コンプライアンスの確保、不正の検出、決定の支持に不可欠である。 金融取引データの複雑さは、意味のある洞察を抽出し、正確な分析を保証するために高度な技術を必要とする。 トランスフォーマーベースのモデルでは,複数のドメインにまたがって優れた性能を示しており,金融取引の理解におけるその可能性を探究する。 本稿では,Encoder-Only,Decoder-Only,Encoder-Decoderの3種類のトランスフォーマーモデルの評価を行う。 各タイプについて、事前に訓練されたLLM、微調整されたLLM、スクラッチから開発された小さなプロプライエタリモデルという3つの選択肢を探索する。 分析の結果,LLaMA3-8b,Flan-T5,SBERTなどのLLMは,様々な自然言語処理タスクにおいて顕著な性能を示すが,財務取引理解の特定の文脈において,小さなプロプライエタリモデルよりもはるかに優れているわけではないことがわかった。 この現象は、スピードとコスト効率の点で特に顕著である。 プロプライエタリモデルは、トランザクションデータのユニークな要件に合わせて、より高速な処理時間と運用コストの低減を示し、金融セクターにおけるリアルタイムアプリケーションにより適している。 本研究は、ドメイン固有のニーズに基づくモデル選択の重要性を強調し、特定アプリケーションにおける汎用LLMよりもカスタマイズされたプロプライエタリモデルの潜在的な利点を裏付けるものである。 最終的に私たちは、これまで管理できなかった複雑なトランザクションを処理するために、プロプライエタリなデコーダのみのモデルを実装することにしました。 このモデルは14%のトランザクションカバレッジを改善し、年間1300万ドル以上のコスト削減に役立ちます。

関連論文リスト

• Your Spending Needs Attention: Modeling Financial Habits with Transformers [2.5960274245156922]
  本稿では,トランザクションデータに対する変換器を用いた表現学習モデルについて検討する。 本稿では,テキストと構造化属性の両方を扱うトランスフォーマーモデルを適用することにより,トランザクションデータによるSSLの利用を可能にする手法を提案する。
  論文  参考訳（メタデータ） (2025-07-31T05:56:21Z)
• Querying Large Automotive Software Models: Agentic vs. Direct LLM Approaches [3.549427092296418]
  大規模言語モデル(LLM)は、自然言語を通じてソフトウェアモデルのような複雑なソフトウェアアーチファクトと対話する新たな機会を提供する。 本稿では,LLMを利用してソフトウェアモデルに対する疑問に答えるための2つのアプローチについて検討する。 自動車分野におけるタイミング解析とソフトウェア最適化のために設計されたEcoreメタモデルを用いて,これらの手法を評価する。
  論文  参考訳（メタデータ） (2025-06-16T07:34:28Z)
• STORM: A Spatio-Temporal Factor Model Based on Dual Vector Quantized Variational Autoencoders for Financial Trading [55.02735046724146]
  金融取引では、ファクターモデルが資産の価格設定や過大なリターンの獲得に広く利用されている。 双対ベクトル量子化変分オートエンコーダを用いた時空間ファクトラーモデルSTORMを提案する。 ストームは時間的および空間的な視点からストックの特徴を抽出し、これらの特徴を微細で意味的なレベルで融合し整列させ、その要素を多次元の埋め込みとして表現する。
  論文  参考訳（メタデータ） (2024-12-12T17:15:49Z)
• SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models [6.639972934967109]
  大規模言語モデル (LLM) は、金融業界において自然言語処理を推進するための強力なツールとなっている。 SNFinLLMという中国の金融ドメイン向けに設計された新しい大規模言語モデルを提案する。 SNFinLLMは、質問への回答、財務調査レポートの要約、感情の分析、財務計算の実行など、ドメイン固有のタスクに優れています。
  論文  参考訳（メタデータ） (2024-08-05T08:24:24Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
  一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。 1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。 小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
  論文  参考訳（メタデータ） (2024-01-26T11:04:01Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
  ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。 我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。