論文の概要: A transformer-based model for default prediction in mid-cap corporate
markets
- arxiv url: http://arxiv.org/abs/2111.09902v4
- Date: Thu, 20 Apr 2023 10:13:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 17:53:42.477226
- Title: A transformer-based model for default prediction in mid-cap corporate
markets
- Title（参考訳）: 中堅企業市場におけるデフォルト予測のための変圧器モデル
- Authors: Kamesh Korangi, Christophe Mues, Cristi\'an Bravo
- Abstract要約: 時価総額が100億ドル未満の中堅企業について調査する。
中間項の既定確率項構造を予測することを目的とする。
私たちは、どのデータソースがデフォルトのリスクに最も貢献しているかを理解しています。
- 参考スコア（独自算出の注目度）: 13.535770763481905
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we study mid-cap companies, i.e. publicly traded companies
with less than US $10 billion in market capitalisation. Using a large dataset
of US mid-cap companies observed over 30 years, we look to predict the default
probability term structure over the medium term and understand which data
sources (i.e. fundamental, market or pricing data) contribute most to the
default risk. Whereas existing methods typically require that data from
different time periods are first aggregated and turned into cross-sectional
features, we frame the problem as a multi-label time-series classification
problem. We adapt transformer models, a state-of-the-art deep learning model
emanating from the natural language processing domain, to the credit risk
modelling setting. We also interpret the predictions of these models using
attention heat maps. To optimise the model further, we present a custom loss
function for multi-label classification and a novel multi-channel architecture
with differential training that gives the model the ability to use all input
data efficiently. Our results show the proposed deep learning architecture's
superior performance, resulting in a 13% improvement in AUC (Area Under the
receiver operating characteristic Curve) over traditional models. We also
demonstrate how to produce an importance ranking for the different data sources
and the temporal relationships using a Shapley approach specific to these
models.
- Abstract（参考訳）: 本稿では,市場資本が100億ドル未満の企業,すなわち上場企業について調査する。
30年以上にわたって観察された米国中規模企業の大規模なデータセットを用いて、中期にわたってデフォルトの確率項構造を予測し、どのデータソース(基本データ、市場データ、価格データ)がデフォルトのリスクに最も寄与するかを理解する。
既存の手法では、異なる時間周期のデータがまず集約されて断面的特徴に変換されることが要求されるが、この問題はマルチラベルの時系列分類問題である。
我々は,自然言語処理領域から発生する最先端のディープラーニングモデルであるtransformer modelを,信用リスクモデリング設定に適用する。
また,これらのモデルの予測を注意熱マップを用いて解釈する。
さらにモデルを最適化するために,マルチラベル分類のためのカスタムロス関数と,すべての入力データを効率的に使用できる差分トレーニングを備えた新しいマルチチャネルアーキテクチャを提案する。
その結果,従来のモデルよりもAUC(Area Under the receiver operating characteristic Curve)が13%向上した。
また、これらのモデルに特有のShapleyアプローチを用いて、異なるデータソースと時間的関係の重要ランキングを作成する方法を示す。
関連論文リスト
- Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。
限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-09-10T07:34:19Z) - F-FOMAML: GNN-Enhanced Meta-Learning for Peak Period Demand Forecasting with Proxy Data [65.6499834212641]
本稿では,需要予測をメタラーニング問題として定式化し,F-FOMAMLアルゴリズムを開発した。
タスク固有のメタデータを通してドメインの類似性を考慮することにより、トレーニングタスクの数が増加するにつれて過剰なリスクが減少する一般化を改善した。
従来の最先端モデルと比較して,本手法では需要予測精度が著しく向上し,内部自動販売機データセットでは平均絶対誤差が26.24%,JD.comデータセットでは1.04%削減された。
論文 参考訳（メタデータ） (2024-06-23T21:28:50Z) - A Scalable and Transferable Time Series Prediction Framework for Demand
Forecasting [24.06534393565697]
時系列予測は多くのビジネス問題において最も不可欠でユビキタスなタスクの1つである。
本稿では,多種多様なアイテムの今後の需要を正確に予測できる,シンプルかつ強力なフレームワークであるフォレスティング・オーケストラ(Forchestra)を提案する。
論文 参考訳（メタデータ） (2024-02-29T18:01:07Z) - Generative Pretrained Hierarchical Transformer for Time Series Forecasting [3.739587363053192]
予測のための新しい生成事前学習型階層型トランスフォーマーアーキテクチャ,textbfGPHTを提案する。
主流の自己教師付き事前学習モデルと教師付きモデルを用いて,8つのデータセット上で十分な実験を行う。
その結果、GPHTは、従来の長期予測タスクにおいて、様々な微調整およびゼロ/フェーショット学習設定のベースラインモデルを上回ることを示した。
論文 参考訳（メタデータ） (2024-02-26T11:54:54Z) - Dirichlet-based Uncertainty Quantification for Personalized Federated
Learning with Improved Posterior Networks [9.54563359677778]
本稿では,グローバルおよびパーソナライズされたモデルの中からモデルを選択可能なフェデレーション学習への新たなアプローチを提案する。
これは、局所的およびグローバルな分布内および分布外データを検出するのに役立つ予測不確実性の慎重なモデリングによって達成される。
一般的な実世界の画像データセットに対する総合的な実験的評価は、アウト・オブ・ディストリビューション・データの存在下でのモデルの優れた性能を示している。
論文 参考訳（メタデータ） (2023-12-18T14:30:05Z) - Generative Machine Learning for Multivariate Equity Returns [0.0]
本研究では,条件付き重み付きオートエンコーダと条件付き正規化フローの有効性について検討した。
私たちが取り組んだ主な問題は、S&P 500の全てのメンバーの関節分布をモデル化すること、すなわち500次元の関節分布を学習することである。
この生成モデルは、現実的な合成データの生成、ボラティリティと相関推定、リスク分析、ポートフォリオ最適化など、金融に幅広い応用があることが示される。
論文 参考訳（メタデータ） (2023-11-21T18:41:48Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Lag-Llama: Towards Foundation Models for Probabilistic Time Series
Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。
Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。
このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-10-12T12:29:32Z) - Improving Neural Ranking Models with Traditional IR Methods [13.354623448774877]
TF-IDFは従来のキーワードマッチング手法であり、浅い埋め込みモデルにより、3つのデータセット上の複雑なニューラルネットワークランキングモデルのパフォーマンスとよく競合するコストの低いパスを提供する。
TF-IDF測定を追加することで、これらのタスクにおける大規模微調整モデルの性能が向上する。
論文 参考訳（メタデータ） (2023-08-29T05:18:47Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。