論文の概要: Enhancing Foundation Models in Transaction Understanding with LLM-based Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2601.05271v1
• Date: Mon, 01 Dec 2025 23:30:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.545565
• Title: Enhancing Foundation Models in Transaction Understanding with LLM-based Sentence Embeddings
• Title（参考訳）: LLMベースの文埋め込みによるトランザクション理解における基礎モデルの強化
• Authors: Xiran Fan, Zhimeng Jiang, Chin-Chia Michael Yeh, Yuzhong Chen, Yingtong Dou, Menghai Pan, Yan Zheng,
• Abstract要約: 大きな言語モデル(LLM)は、より優れたセマンティック理解を通じて、この制限に対処することができる。 軽量トランザクションモデルのためのセマンティック初期化としてLLM生成の埋め込みを利用するハイブリッドフレームワークを提案する。 提案手法では,マルチソースデータ融合を用いて,商取引分野を豊かにし,一貫した埋め込み生成のための一語制約原理を定めている。
• 参考スコア（独自算出の注目度）: 26.118375969968437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ubiquity of payment networks generates vast transactional data encoding rich consumer and merchant behavioral patterns. Recent foundation models for transaction analysis process tabular data sequentially but rely on index-based representations for categorical merchant fields, causing substantial semantic information loss by converting rich textual data into discrete tokens. While Large Language Models (LLMs) can address this limitation through superior semantic understanding, their computational overhead challenges real-time financial deployment. We introduce a hybrid framework that uses LLM-generated embeddings as semantic initializations for lightweight transaction models, balancing interpretability with operational efficiency. Our approach employs multi-source data fusion to enrich merchant categorical fields and a one-word constraint principle for consistent embedding generation across LLM architectures. We systematically address data quality through noise filtering and context-aware enrichment. Experiments on large-scale transaction datasets demonstrate significant performance improvements across multiple transaction understanding tasks.
• Abstract（参考訳）: 支払いネットワークの多様さは、リッチな消費者および商人の行動パターンをコードする膨大な取引データを生成する。 近年のトランザクション分析処理基盤モデルでは, 分類商場におけるインデックスベース表現に頼っており, リッチテキストデータを離散トークンに変換することで, 意味情報を著しく失われている。 大規模言語モデル(LLM)は、より優れたセマンティック理解を通じてこの制限に対処できるが、計算オーバーヘッドはリアルタイムの金融展開に挑戦する。 軽量トランザクションモデルのセマンティック初期化としてLLM生成の埋め込みを使用し,解釈可能性と操作効率のバランスをとるハイブリッドフレームワークを提案する。 提案手法では,マルチソースデータ融合を用いて,LLMアーキテクチャ全体にわたる一貫した埋め込み生成のための一語制約原理と商体分類の強化を行う。 我々は、ノイズフィルタリングとコンテキスト認識の強化により、データ品質を体系的に解決する。 大規模トランザクションデータセットの実験では、複数のトランザクション理解タスク間での大幅なパフォーマンス向上が示されている。

関連論文リスト

• LAFA: Agentic LLM-Driven Federated Analytics over Decentralized Data Sources [35.235993431071286]
  大規模言語モデル(LLM)は、自然言語クエリを解釈することで、データ分析タスクを自動化するという大きな可能性を示しています。 既存のLLMベースの分析フレームワークは、集中型データアクセスの前提で運用されており、プライバシー保護はほとんど、あるいは全く提供されない。 LLMをベースとしたデータ分析とフェデレーション分析を統合した最初のシステムであるLAFAを提案する。
  論文  参考訳（メタデータ） (2025-10-21T09:56:25Z)
• FuDoBa: Fusing Document and Knowledge Graph-based Representations with Bayesian Optimisation [43.56253799373878]
  本稿では,LLMに基づく埋め込みとドメイン固有の構造化知識を統合したベイズ最適化に基づくFuDoBaを紹介する。 この融合は、訓練の複雑さを減らし、解釈可能な早期融合重みを生み出すとともに、低次元のタスク関連表現を生成する。 2つの領域における6つのデータセットに対するアプローチの有効性を実証し、提案した表現学習アプローチが、プロプライエタリなLCMベースの埋め込みベースラインでのみ生成されるものと同程度に、あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2025-07-09T07:49:55Z)
• Large Language Models are Good Relational Learners [55.40941576497973]
  本稿では,グラフニューラルネットワーク(GNN)に基づくエンコーダを用いて,大規模言語モデル(LLM)のための構造化リレーショナルプロンプトを生成する新しいアーキテクチャであるRel-LLMを紹介する。 従来のテキストベースのシリアライズ手法とは異なり,本手法はデータベース固有の関係構造を保ちながら,LLMが複雑なエンティティ関係を処理・推論することを可能にする。
  論文  参考訳（メタデータ） (2025-06-06T04:07:55Z)
• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [54.3895971080712]
  多様なデータセットを使用した細調整された大規模言語モデル(LLM)は、さまざまな領域にわたる全体的なパフォーマンス向上に不可欠である。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
  本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。 Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。 実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-10-31T16:34:03Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Scalable Representation Learning for Multimodal Tabular Transactions [14.18267117657451]
  これらの課題に対して、革新的でスケーラブルなソリューションを提示します。 トランザクションとテキストのモダリティをインターリーブするパラメータ効率の良いデコーダを提案する。 我々は,大規模な合成決済トランザクションデータセット上でのソリューションの有効性を検証した。
  論文  参考訳（メタデータ） (2024-10-10T12:18:42Z)
• DynamicNER: A Dynamic, Multilingual, and Fine-Grained Dataset for LLM-based Named Entity Recognition [53.019885776033824]
  動的分類を伴うLarge Language Models (LLM) ベースの手法のために設計された最初のNERデータセットであるDynamicNERを提案する。 データセットは多言語および多言語で、8言語と155のエンティティタイプをカバーし、コーパスはさまざまなドメインにまたがる。 実験によると、DynamicNERはLLMベースのNERメソッドの堅牢で効果的なベンチマークとして機能している。
  論文  参考訳（メタデータ） (2024-09-17T09:32:12Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。