Fugu-MT 論文翻訳(概要): Multi-Modal Deep Learning for Credit Rating Prediction Using Text and Numerical Data Streams

論文の概要: Multi-Modal Deep Learning for Credit Rating Prediction Using Text and Numerical Data Streams

arxiv url: http://arxiv.org/abs/2304.10740v2
Date: Fri, 22 Sep 2023 23:17:42 GMT
ステータス: 処理完了
システム内更新日: 2023-09-27 03:01:32.516191
Title: Multi-Modal Deep Learning for Credit Rating Prediction Using Text and Numerical Data Streams
Title（参考訳）: テキストと数値データストリームを用いたクレジットレーティング予測のためのマルチモーダルディープラーニング
Authors: Mahsa Tavakoli, Rohitash Chandra, Fengrui Tian, Cristi\'an Bravo
Abstract要約: 本稿では、企業信用格付けクラスの予測のためのディープラーニングモデルの融合のための最も効果的なアーキテクチャについて分析する。我々は,CNN,LSTM,GRU,BERTなど,さまざまな深層学習モデルと融合戦略の組み合わせを検証した。その結果,2つの融合戦略を持つCNNベースのマルチモーダルモデルでは,他のマルチモーダル手法よりも優れていた。
参考スコア（独自算出の注目度）: 0.9799637101641151
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Knowing which factors are significant in credit rating assignment leads to better decision-making. However, the focus of the literature thus far has been mostly on structured data, and fewer studies have addressed unstructured or multi-modal datasets. In this paper, we present an analysis of the most effective architectures for the fusion of deep learning models for the prediction of company credit rating classes, by using structured and unstructured datasets of different types. In these models, we tested different combinations of fusion strategies with different deep learning models, including CNN, LSTM, GRU, and BERT. We studied data fusion strategies in terms of level (including early and intermediate fusion) and techniques (including concatenation and cross-attention). Our results show that a CNN-based multi-modal model with two fusion strategies outperformed other multi-modal techniques. In addition, by comparing simple architectures with more complex ones, we found that more sophisticated deep learning models do not necessarily produce the highest performance; however, if attention-based models are producing the best results, cross-attention is necessary as a fusion strategy. Finally, our comparison of rating agencies on short-, medium-, and long-term performance shows that Moody's credit ratings outperform those of other agencies like Standard & Poor's and Fitch Ratings.
Abstract（参考訳）: 信用格付けの課題において重要な要因を知ることは、より良い意思決定につながる。しかし、これまでの文献の焦点は主に構造化データであり、非構造化データセットやマルチモーダルデータセットに対処する研究は少ない。本稿では,企業信用格付けクラスの予測のための深層学習モデルの融合のための最も効果的なアーキテクチャを,異なるタイプの構造化データセットと非構造化データセットを用いて分析する。これらのモデルでは,CNN,LSTM,GRU,BERTなど,異なる深層学習モデルとの融合戦略の組み合わせを検討した。我々は,データ融合戦略を,(初期および中期融合を含む)レベルと技術(連結と交差注意を含む)レベルで研究した。その結果,二つの融合戦略を持つcnnベースのマルチモーダルモデルは,他のマルチモーダル手法よりも優れていた。さらに、単純なアーキテクチャとより複雑なアーキテクチャを比較することで、より高度なディープラーニングモデルが必ずしも最高のパフォーマンスをもたらすとは限らないことが分かりましたが、注意に基づくモデルが最良の結果を生み出している場合、融合戦略として相互注意が必要であることがわかりました。最後に、短期的・中長期的評価における格付け機関の比較から、ムーディーの格付けはスタンダード・アンド・プアーズやフィッチ・レーティングズのような他の格付け機関よりも優れていることが分かる。

関連論文リスト

High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2024-09-10T08:04:11Z)
CollectiveSFT: Scaling Large Language Models for Chinese Medical Benchmark with Collective Instructions in Healthcare [12.218718086529462]
本研究は中国における総合医療ベンチマーク(CMB)に焦点を当てる。私たちは、より大きなモデルに匹敵するスコアを得るために、より小さなベースモデルをトレーニングしました。幅広い指導内容を統合することで,データ品質の不整合などの潜在的な問題に対処する。
論文参考訳（メタデータ） (2024-07-29T05:00:48Z)
FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。 FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
論文参考訳（メタデータ） (2024-06-05T13:54:28Z)
Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
論文参考訳（メタデータ） (2024-05-18T12:16:01Z)
Rethinking Model Prototyping through the MedMNIST+ Dataset Collection [0.11999555634662634]
本研究は,MedMNIST+データベースに対する評価環境の多様化のためのベンチマークを示す。我々は、医用画像分類のための共通畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースのアーキテクチャを徹底的に分析する。この結果から,計算効率のよいトレーニングスキームと最新の基礎モデルは,高額なエンドツーエンドトレーニングとリソース強化アプローチのギャップを埋める上で有望であることが示唆された。
論文参考訳（メタデータ） (2024-04-24T10:19:25Z)
Multi-document Summarization: A Comparative Evaluation [0.0]
本論文は,多文書要約(MDS)のための最先端モデルの評価を,様々な領域の異なるタイプのデータセット上で行うことを目的としている。我々は,Big-SurveyおよびMS$2$データセット上でのPRIMERAおよびPEGモデルの性能を解析した。
論文参考訳（メタデータ） (2023-09-10T07:43:42Z)
Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。フェデレートラーニングにおいて最も顕著に用いられている。私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文参考訳（メタデータ） (2023-07-13T09:39:10Z)
Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文参考訳（メタデータ） (2023-05-18T16:28:29Z)
Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
論文参考訳（メタデータ） (2022-05-22T16:37:53Z)
Evaluating State of the Art, Forecasting Ensembles- and Meta-learning Strategies for Model Fusion [0.0]
本稿では,異なるアンサンブルに対するベースモデルのプール内での指数平滑化リカレントニューラルネットワーク(ES-RNN)の有用性について述べる。
論文参考訳（メタデータ） (2022-03-07T10:51:40Z)
Improving Multimodal fusion via Mutual Dependency Maximisation [5.73995120847626]
マルチモーダル・感情分析は研究のトレンドとなっている分野であり、マルチモーダル・フュージョンは最も活発なトピックの1つである。本研究では,未探索の罰則を調査し,モダリティ間の依存性を測定するための新たな目的セットを提案する。我々は、我々の新しい罰則が様々な最先端モデルに対して一貫した改善(正確性で最大4.3ドル)をもたらすことを示した。
論文参考訳（メタデータ） (2021-08-31T06:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。