論文の概要: Self-Attention Mechanism in Multimodal Context for Banking Transaction Flow

• arxiv url: http://arxiv.org/abs/2410.08243v1
• Date: Thu, 10 Oct 2024 08:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 04:26:09.240638
• Title: Self-Attention Mechanism in Multimodal Context for Banking Transaction Flow
• Title（参考訳）: 取引フローの銀行化のためのマルチモーダルコンテキストにおける自己注意機構
• Authors: Cyrile Delestre, Yoann Sola,
• Abstract要約: バンキングトランザクションフロー(英: Banking Transaction Flow、BTF)は、日付、数値、単語の3つのモードからなる逐次データである。 自己教師型方式でBTFを多用した2つの一般モデルを訓練した。 これら2つのモデルの性能は、トランザクション分類タスクと信用リスクタスクの2つの下流タスクで評価された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Banking Transaction Flow (BTF) is a sequential data found in a number of banking activities such as marketing, credit risk or banking fraud. It is a multimodal data composed of three modalities: a date, a numerical value and a wording. We propose in this work an application of self-attention mechanism to the processing of BTFs. We trained two general models on a large amount of BTFs in a self-supervised way: one RNN-based model and one Transformer-based model. We proposed a specific tokenization in order to be able to process BTFs. The performance of these two models was evaluated on two banking downstream tasks: a transaction categorization task and a credit risk task. The results show that fine-tuning these two pre-trained models allowed to perform better than the state-of-the-art approaches for both tasks.
• Abstract（参考訳）: 銀行取引フロー(Bunding Transaction Flow、BTF)は、マーケティング、信用リスク、銀行詐欺など、多くの銀行活動で見られる連続したデータである。 日付、数値、単語の3つのモードからなるマルチモーダルデータである。 本稿では,BTFの処理に対する自己認識機構の応用を提案する。 1つのRNNモデルと1つのTransformerモデルである。 我々は,BTFを処理するために,特定のトークン化を提案する。 これら2つのモデルの性能は、トランザクション分類タスクと信用リスクタスクの2つの下流タスクで評価された。 その結果、これらの2つの事前学習モデルの微調整により、両方のタスクの最先端アプローチよりも優れたパフォーマンスが得られた。

関連論文リスト

• Towards a Foundation Purchasing Model: Pretrained Generative Autoregression on Transaction Sequences [0.0]
  本稿では,金融取引の文脈的埋め込みを得るための生成事前学習手法を提案する。 さらに,510億の取引を含む180の発行銀行のデータコーパスを用いて,埋め込みモデルの大規模事前学習を行う。
  論文  参考訳（メタデータ） (2024-01-03T09:32:48Z)
• Cross-BERT for Point Cloud Pretraining [61.762046503448936]
  我々はクロスモーダルなBERTスタイルの自己教師型学習パラダイムであるCross-BERTを提案する。 不規則な点雲とスパースな点雲の事前訓練を容易にするために,2つの自己教師型タスクを設計し,相互モーダル相互作用を促進させる。 本研究は,3Dポイントクラウド表現の強化とBERTのモダリティ間の伝達能力を高めるために,クロスモーダルな2D知識を活用することの有効性を強調した。
  論文  参考訳（メタデータ） (2023-12-08T08:18:12Z)
• Generative AI for End-to-End Limit Order Book Modelling: A Token-Level Autoregressive Generative Model of Message Flow Using a Deep State Space Network [7.54290390842336]
  本稿では,トークン化制限順序帳(LOB)メッセージを生成するエンドツーエンドの自動回帰生成モデルを提案する。 NASDAQ の株式 LOB を用いて、メッセージデータのためのカスタムトークン化器を開発し、逐次桁の群をトークンに変換する。 結果は,低モデルパープレキシティによって証明されたように,データの分布を近似する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2023-08-23T09:37:22Z)
• Multimodal Document Analytics for Banking Process Automation [4.541582055558865]
  本論文は,銀行業務における文書処理における多モデルモデルの有効性と効率に関する実証的証拠を提示する。 日々の業務でこの可能性を解き放つための実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2023-07-21T18:29:04Z)
• FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing [88.6654909354382]
  本稿では,顔のアンチ・スプーフィングのためのフレキシブル・モーダル・ビジョン・トランス (FM-ViT) と呼ばれる,純粋なトランスフォーマーベースのフレームワークを提案する。 FM-ViTは、利用可能なマルチモーダルデータの助けを借りて、任意の単一モーダル(すなわちRGB)攻撃シナリオを柔軟にターゲットすることができる。 実験により、FM-ViTに基づいてトレーニングされた単一モデルは、異なるモーダルサンプルを柔軟に評価できるだけでなく、既存のシングルモーダルフレームワークよりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-05T04:28:48Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• Flexible categorization for auditing using formal concept analysis and Dempster-Shafer theory [55.878249096379804]
  我々は、異なる金融口座に対する異なる利息の程度に応じて分類する様々な方法を研究する。 本稿で開発したフレームワークは,説明可能な分類の獲得と研究のための公式な基盤を提供する。
  論文  参考訳（メタデータ） (2022-10-31T13:49:16Z)
• Towards a Better Microcredit Decision [0.0]
  まず、融資プロセス全体を通じて順次依存する3つの段階を定義し、例えば、貸付(AR)、引受申告書(WS)、返済契約(GB)を定めます。 提案手法は単純かつ効果的であり,中国のトップローンプラットフォームから得られた実データを用いた実験結果から,人口バイアスを緩和し,モデル一般化能力を向上させる能力を示した。
  論文  参考訳（メタデータ） (2022-08-23T12:24:19Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• XtracTree: a Simple and Effective Method for Regulator Validation of Bagging Methods Used in Retail Banking [0.0]
  ランダムフォレストなどのMLバッグ分類器を簡単な「if-then」ルールに変換するアルゴリズムであるXtracTreeを提案する。 我々の実験は、XtracTreeを使うことで、MLモデルをルールベースのアルゴリズムに変換することができることを示した。 提案されたアプローチにより、銀行機関は、エンドユーザへのAIソリューションのデリバリ時間の最大50%を削減できるようになりました。
  論文  参考訳（メタデータ） (2020-04-05T21:57:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。