論文の概要: Self-Attention Mechanism in Multimodal Context for Banking Transaction Flow

• arxiv url: http://arxiv.org/abs/2410.08243v1
• Date: Thu, 10 Oct 2024 08:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 04:26:09.240638
• Title: Self-Attention Mechanism in Multimodal Context for Banking Transaction Flow
• Title（参考訳）: 取引フローの銀行化のためのマルチモーダルコンテキストにおける自己注意機構
• Authors: Cyrile Delestre, Yoann Sola,
• Abstract要約: バンキングトランザクションフロー(英: Banking Transaction Flow、BTF)は、日付、数値、単語の3つのモードからなる逐次データである。 自己教師型方式でBTFを多用した2つの一般モデルを訓練した。 これら2つのモデルの性能は、トランザクション分類タスクと信用リスクタスクの2つの下流タスクで評価された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Banking Transaction Flow (BTF) is a sequential data found in a number of banking activities such as marketing, credit risk or banking fraud. It is a multimodal data composed of three modalities: a date, a numerical value and a wording. We propose in this work an application of self-attention mechanism to the processing of BTFs. We trained two general models on a large amount of BTFs in a self-supervised way: one RNN-based model and one Transformer-based model. We proposed a specific tokenization in order to be able to process BTFs. The performance of these two models was evaluated on two banking downstream tasks: a transaction categorization task and a credit risk task. The results show that fine-tuning these two pre-trained models allowed to perform better than the state-of-the-art approaches for both tasks.
• Abstract（参考訳）: 銀行取引フロー(Bunding Transaction Flow、BTF)は、マーケティング、信用リスク、銀行詐欺など、多くの銀行活動で見られる連続したデータである。 日付、数値、単語の3つのモードからなるマルチモーダルデータである。 本稿では,BTFの処理に対する自己認識機構の応用を提案する。 1つのRNNモデルと1つのTransformerモデルである。 我々は,BTFを処理するために,特定のトークン化を提案する。 これら2つのモデルの性能は、トランザクション分類タスクと信用リスクタスクの2つの下流タスクで評価された。 その結果、これらの2つの事前学習モデルの微調整により、両方のタスクの最先端アプローチよりも優れたパフォーマンスが得られた。

関連論文リスト

• Machine and Deep Learning for Credit Scoring: A compliant approach [0.0]
  本稿では,現行の規制体制に挑戦し,新たなBASEL 2と3の準拠技術を導入することを目的としている。 このようなアルゴリズムを使用することで、性能が大幅に向上し、デフォルトのキャプチャレートが向上することを示す。 さらに、Shapley Valuesのパワーを活用して、これらの比較的単純なモデルは、現在の規制システムが考えているようなブラックボックスではないことを証明します。
  論文  参考訳（メタデータ） (2024-12-28T17:46:43Z)
• TabSniper: Towards Accurate Table Detection & Structure Recognition for Bank Statements [1.9461727843485295]
  既存のテーブル構造認識アプローチは、長い複雑なテーブルに対するサブ最適結果を生成する。 本稿では,バンクステートメントからの効率的なテーブル検出,分類,構造認識のための新しいアプローチであるTabSniperを提案する。
  論文  参考訳（メタデータ） (2024-12-17T11:47:59Z)
• STORM: A Spatio-Temporal Factor Model Based on Dual Vector Quantized Variational Autoencoders for Financial Trading [55.02735046724146]
  金融取引では、ファクターモデルが資産の価格設定や過大なリターンの獲得に広く利用されている。 双対ベクトル量子化変分オートエンコーダを用いた時空間ファクトラーモデルSTORMを提案する。 ストームは時間的および空間的な視点からストックの特徴を抽出し、これらの特徴を微細で意味的なレベルで融合し整列させ、その要素を多次元の埋め込みとして表現する。
  論文  参考訳（メタデータ） (2024-12-12T17:15:49Z)
• Multi-task CNN Behavioral Embedding Model For Transaction Fraud Detection [6.153407718616422]
  深層学習法は不正検出に行動系列データを埋め込むのに欠かせないものとなっている。 本稿では,トランザクション不正検出のためのマルチタスクCNN行動埋め込みモデルを提案する。 1)拡張性とドメイン中心の帰納バイアスの観点からLSTMおよびTransformerモデルより優れたマルチレンジカーネルを特徴とするシングルレイヤCNN設計を導入する。
  論文  参考訳（メタデータ） (2024-11-29T03:58:11Z)
• Towards a Foundation Purchasing Model: Pretrained Generative Autoregression on Transaction Sequences [0.0]
  本稿では,金融取引の文脈的埋め込みを得るための生成事前学習手法を提案する。 さらに,510億の取引を含む180の発行銀行のデータコーパスを用いて,埋め込みモデルの大規模事前学習を行う。
  論文  参考訳（メタデータ） (2024-01-03T09:32:48Z)
• Cross-BERT for Point Cloud Pretraining [61.762046503448936]
  我々はクロスモーダルなBERTスタイルの自己教師型学習パラダイムであるCross-BERTを提案する。 不規則な点雲とスパースな点雲の事前訓練を容易にするために,2つの自己教師型タスクを設計し,相互モーダル相互作用を促進させる。 本研究は,3Dポイントクラウド表現の強化とBERTのモダリティ間の伝達能力を高めるために,クロスモーダルな2D知識を活用することの有効性を強調した。
  論文  参考訳（メタデータ） (2023-12-08T08:18:12Z)
• Multimodal Document Analytics for Banking Process Automation [4.541582055558865]
  本論文は,銀行業務における文書処理における多モデルモデルの有効性と効率に関する実証的証拠を提示する。 日々の業務でこの可能性を解き放つための実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2023-07-21T18:29:04Z)
• FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing [88.6654909354382]
  本稿では,顔のアンチ・スプーフィングのためのフレキシブル・モーダル・ビジョン・トランス (FM-ViT) と呼ばれる,純粋なトランスフォーマーベースのフレームワークを提案する。 FM-ViTは、利用可能なマルチモーダルデータの助けを借りて、任意の単一モーダル(すなわちRGB)攻撃シナリオを柔軟にターゲットすることができる。 実験により、FM-ViTに基づいてトレーニングされた単一モデルは、異なるモーダルサンプルを柔軟に評価できるだけでなく、既存のシングルモーダルフレームワークよりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-05T04:28:48Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。