論文の概要: A Generative Approach to Credit Prediction with Learnable Prompts for Multi-scale Temporal Representation Learning

• arxiv url: http://arxiv.org/abs/2404.13004v3
• Date: Sat, 22 Feb 2025 10:23:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 22:36:55.28573
• Title: A Generative Approach to Credit Prediction with Learnable Prompts for Multi-scale Temporal Representation Learning
• Title（参考訳）: マルチスケールテンポラル表現学習のための学習型プロンプトを用いた信用予測の一手法
• Authors: Yu Lei, Zixuan Wang, Yiqing Feng, Junru Zhang, Yahui Li, Chu Liu, Tongyao Wang,
• Abstract要約: FinLangNetは、ユーザの将来の振る舞いのマルチスケール分布を生成するタスクとして、クレジットスコアリングに対処する。 最近のLLM(Large Language Models)におけるプロンプトベースのトレーニングの成功に触発されたFinLangNetは、ユーザの振る舞いをモデル化してキャプチャするための2つのタイプのプロンプトも導入している。
• 参考スコア（独自算出の注目度）: 8.263459155898895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent industrial credit scoring models remain heavily reliant on manually tuned statistical learning methods. While deep learning offers promising solutions, its effectiveness is often limited by the complexity of financial data, particularly in long-horizon scenarios. In this work, we propose FinLangNet, which addresses credit scoring by reframing it as the task of generating multi-scale distributions of a user's future behavior. Within this framework, tabular data is transformed into sequential representations, enabling the generation of user embeddings across multiple temporal scales. Inspired by the recent success of prompt-based training in Large Language Models (LLMs), FinLangNet also introduces two types of prompts to model and capture user behavior at both the feature-granularity and user-granularity levels. Experimental results demonstrate that FinLangNet outperforms the online XGBoost benchmark, achieving a 7.2\% improvement in KS metric performance and a 9.9\% reduction in the relative bad debt rate. Furthermore, FinLangNet exhibits superior performance on public UEA archives, underscoring its scalability and adaptability in time series classification tasks.
• Abstract（参考訳）: 近年の産業信用評価モデルは手作業による統計学習に大きく依存している。 ディープラーニングは有望なソリューションを提供するが、その効果は金融データの複雑さによって制限されることが多い。 本研究では,FinLangNetを提案する。このFinLangNetは,ユーザの将来の行動のマルチスケール分布を生成するタスクとして,クレジットスコアリングに対処する。 このフレームワーク内では、表形式のデータはシーケンシャルな表現に変換され、複数の時間スケールにまたがるユーザ埋め込みの生成を可能にする。 最近のLLM(Large Language Models)におけるプロンプトベースのトレーニングの成功にインスパイアされたFinLangNetは、機能粒度とユーザ粒度の両方でユーザ動作をモデル化およびキャプチャする2つのタイプのプロンプトも導入している。 実験の結果、FinLangNetはオンラインXGBoostベンチマークよりも優れており、KSメトリックのパフォーマンスは7.2\%向上し、相対的不良債権率は9.9\%低下した。 さらに、FinLangNetはパブリックなUEAアーカイブに優れたパフォーマンスを示し、時系列分類タスクのスケーラビリティと適応性を強調している。

関連論文リスト

• Enhancing Financial Time-Series Forecasting with Retrieval-Augmented Large Language Models [29.769616823587594]
  金融時系列予測に特化して設計された最初の検索拡張世代(RAG)フレームワークを提案する。 フレームワークには3つの重要なイノベーションが含まれている: 微調整された1B大言語モデル(StockLLM)をバックボーンとし、LSMフィードバックによって拡張された新しい候補選択方法と、クエリと歴史的に重要なシーケンスとの類似性を最大化するトレーニング目標である。
  論文  参考訳（メタデータ） (2025-02-09T12:26:05Z)
• Large Language Models are Few-shot Multivariate Time Series Classifiers [23.045734479292356]
  大規模言語モデル (LLM) は時系列解析に広く応用されている。 しかし、数発の分類(すなわち重要な訓練シナリオ)におけるそれらの実用性は過小評価されている。 データ不足を克服するために,LLMの学習済み知識を幅広く活用することを目的としている。
  論文  参考訳（メタデータ） (2025-01-30T03:59:59Z)
• Multi-granularity Interest Retrieval and Refinement Network for Long-Term User Behavior Modeling in CTR Prediction [68.90783662117936]
  クリックスルーレート(CTR)の予測は、オンラインパーソナライズプラットフォームにとって不可欠である。 近年の進歩は、リッチなユーザの振る舞いをモデル化することで、CTR予測の性能を大幅に改善できることを示している。 マルチグラニュラリティ興味検索ネットワーク(MIRRN)を提案する。
  論文  参考訳（メタデータ） (2024-11-22T15:29:05Z)
• LIBER: Lifelong User Behavior Modeling Based on Large Language Models [42.045535303737694]
  大規模言語モデルに基づく生涯ユーザ行動モデリング(LIBER)を提案する。 LIBERはHuaweiの音楽レコメンデーションサービスにデプロイされ、ユーザーの再生回数と再生時間の3.01%と7.69%を大幅に改善した。
  論文  参考訳（メタデータ） (2024-11-22T03:43:41Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• On Uncertainty In Natural Language Processing [2.5076643086429993]
  この論文は、自然言語処理における不確実性が言語的、統計的、神経的な観点からどのように特徴づけられるかを研究する。 本研究では,非交換不能な共形予測に基づく自然言語生成における校正サンプリング手法を提案する。 最後に,補助予測器を用いた大規模ブラックボックス言語モデルの信頼性の定量化手法を開発した。
  論文  参考訳（メタデータ） (2024-10-04T14:08:02Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• AlphaFin: Benchmarking Financial Analysis with Retrieval-Augmented Stock-Chain Framework [48.3060010653088]
  我々はAlphaFinデータセットをリリースし、従来の研究データセット、リアルタイム財務データ、手書きのチェーン・オブ・プリート(CoT)データを組み合わせています。 次に、AlphaFinデータセットを使用して、金融分析タスクを効果的に処理するために、Stock-Chainと呼ばれる最先端の手法をベンチマークします。
  論文  参考訳（メタデータ） (2024-03-19T09:45:33Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• Generative AI for End-to-End Limit Order Book Modelling: A Token-Level Autoregressive Generative Model of Message Flow Using a Deep State Space Network [7.54290390842336]
  本稿では,トークン化制限順序帳(LOB)メッセージを生成するエンドツーエンドの自動回帰生成モデルを提案する。 NASDAQ の株式 LOB を用いて、メッセージデータのためのカスタムトークン化器を開発し、逐次桁の群をトークンに変換する。 結果は,低モデルパープレキシティによって証明されたように,データの分布を近似する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2023-08-23T09:37:22Z)
• DeRisk: An Effective Deep Learning Framework for Credit Risk Prediction over Real-World Financial Data [13.480823015283574]
  実世界の金融データに対する信用リスク予測のための効果的なディープラーニングリスク予測フレームワークであるDeRiskを提案する。 DeRiskは、当社のプロダクションシステムにデプロイされた統計的学習アプローチよりも優れた、最初のディープリスク予測モデルです。
  論文  参考訳（メタデータ） (2023-08-07T16:22:59Z)
• FinPT: Financial Risk Prediction with Profile Tuning on Pretrained Foundation Models [32.7825479037623]
  FinPTは、金融リスク予測のための新しいアプローチであり、大規模な事前訓練された基礎モデルに基づいてプロファイルチューニングを行う。 FinBenchは、デフォルト、詐欺、チャーンといった金融リスクに関する高品質なデータセットのセットである。
  論文  参考訳（メタデータ） (2023-07-22T09:27:05Z)
• Measuring Consistency in Text-based Financial Forecasting Models [10.339586273664725]
  FinTrustは財務文書の論理的一貫性を評価する評価ツールである。 金融予測のための最先端NLPモデルの整合性は乏しいことを示す。 意味保存による性能劣化の分析は,現在のテキストベースの手法が市場情報の堅牢な予測に適していないことを示唆している。
  論文  参考訳（メタデータ） (2023-05-15T10:32:26Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
  ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。 我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Bayesian Bilinear Neural Network for Predicting the Mid-price Dynamics in Limit-Order Book Markets [84.90242084523565]
  伝統的な時系列計量法は、価格力学を駆動する多層相互作用の真の複雑さを捉えることができないことが多い。 最先端の2次最適化アルゴリズムを採用することで、時間的注意を払ってベイジアン双線形ニューラルネットワークを訓練する。 予測分布を用いて推定パラメータとモデル予測に関連する誤差や不確実性を解析することにより、ベイズモデルと従来のML代替品を徹底的に比較する。
  論文  参考訳（メタデータ） (2022-03-07T18:59:54Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Bilinear Input Normalization for Neural Networks in Financial Forecasting [101.89872650510074]
  本稿では,高頻度金融時系列を扱うディープニューラルネットワークのための新しいデータ駆動正規化手法を提案する。 提案手法は,財務時系列のバイモーダル特性を考慮したものである。 我々の実験は最先端のニューラルネットワークと高周波データを用いて行われ、他の正規化技術よりも大幅に改善された。
  論文  参考訳（メタデータ） (2021-09-01T07:52:03Z)
• Sequential Deep Learning for Credit Risk Monitoring with Tabular Financial Data [0.901219858596044]
  深層学習による信用リスク評価の新たなアプローチを創出する試みを紹介します。 本稿では,深い再帰と因果畳み込みに基づくニューラルネットワークを用いた新しいクレジットカードトランザクションサンプリング手法を提案する。 時間的畳み込みネットワークを用いた逐次的深層学習アプローチは、ベンチマーク非逐次木モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-30T21:29:48Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Super-App Behavioral Patterns in Credit Risk Models: Financial, Statistical and Regulatory Implications [110.54266632357673]
  従来の官僚データとは対照的に、アプリベースのマーケットプレースから派生した代替データが信用スコアモデルに与える影響を提示する。 2つの国にまたがって検証した結果、これらの新たなデータソースは、低体重者や若年者における金融行動を予測するのに特に有用であることが示された。
  論文  参考訳（メタデータ） (2020-05-09T01:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。