論文の概要: Discovering material information using hierarchical Reformer model on
financial regulatory filings
- arxiv url: http://arxiv.org/abs/2204.05979v1
- Date: Mon, 28 Mar 2022 19:47:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-17 09:07:28.178112
- Title: Discovering material information using hierarchical Reformer model on
financial regulatory filings
- Title(参考訳): 金融規制書類における階層的改革モデルを用いた材料情報の発見
- Authors: Francois Mercier, Makesh Narsimhan
- Abstract要約: 金融規制書類から大規模文書レベルのデータセットであるSEDARを処理可能な階層的改革者([15])モデルを構築した。
このモデルを用いて,規制書類を用いて貿易量変化を予測可能であることを示す。
取引量の変化をうまく予測するためにモデルを微調整することは、このモデルが金融市場からの見解を捉え、規制書類の処理が有益であることを示している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most applications of machine learning for finance are related to forecasting
tasks for investment decisions. Instead, we aim to promote a better
understanding of financial markets with machine learning techniques. Leveraging
the tremendous progress in deep learning models for natural language
processing, we construct a hierarchical Reformer ([15]) model capable of
processing a large document level dataset, SEDAR, from canadian financial
regulatory filings. Using this model, we show that it is possible to predict
trade volume changes using regulatory filings. We adapt the pretraining task of
HiBERT ([36]) to obtain good sentence level representations using a large
unlabelled document dataset. Finetuning the model to successfully predict trade
volume changes indicates that the model captures a view from financial markets
and processing regulatory filings is beneficial. Analyzing the attention
patterns of our model reveals that it is able to detect some indications of
material information without explicit training, which is highly relevant for
investors and also for the market surveillance mandate of financial regulators.
- Abstract(参考訳): 金融に対する機械学習のほとんどの応用は、投資決定のための予測タスクに関連している。
その代わり、機械学習技術で金融市場の理解を深めることを目指している。
自然言語処理のためのディープラーニングモデルの大幅な進歩を生かして、大容量文書レベルのデータセットであるSEDARを処理する階層的改革者([15])モデルを、カナダの金融規制書類から構築する。
このモデルを用いて,規制書類を用いて取引量の変化を予測できることを示す。
我々は,hibert ([36]) の事前学習タスクを適応させ,大きなラベルなし文書データセットを用いた文章レベルの表現を得る。
取引量の変化をうまく予測するためにモデルを微調整することは、このモデルが金融市場からの見解を捉え、規制書類の処理が有益であることを示している。
本モデルで注目パターンを解析した結果,投資家や金融規制当局の市場監視業務に極めて関係のある,明示的なトレーニングをせずに資料情報の表示を検出できることが判明した。
関連論文リスト
- Numerical Claim Detection in Finance: A New Financial Dataset,
Weak-Supervision Model, and Market Analysis [4.9524454709622585]
ファイナンシャルドメインにおけるクレーム検出タスクのための新たな財務データセットを構築した。
本稿では,対象物の専門家(SME)の知識を集約関数に組み込んだ,新たな弱スーパービジョンモデルを提案する。
我々は、新しい測度楽観主義を構築することによって、提案したモデルの実用性を実証する」。
論文 参考訳(メタデータ) (2024-02-18T22:55:26Z) - Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。
1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。
小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
論文 参考訳(メタデータ) (2024-01-26T11:04:01Z) - Revolutionizing Finance with LLMs: An Overview of Applications and
Insights [47.11391223936608]
ChatGPTのような大規模言語モデル(LLM)はかなり進歩しており、様々な分野に適用されている。
これらのモデルは、財務報告の自動生成、市場のトレンド予測、投資家の感情分析、パーソナライズされた財務アドバイスの提供に利用されています。
論文 参考訳(メタデータ) (2024-01-22T01:06:17Z) - Towards a Foundation Purchasing Model: Pretrained Generative
Autoregression on Transaction Sequences [0.0]
本稿では,金融取引の文脈的埋め込みを得るための生成事前学習手法を提案する。
さらに,510億の取引を含む180の発行銀行のデータコーパスを用いて,埋め込みモデルの大規模事前学習を行う。
論文 参考訳(メタデータ) (2024-01-03T09:32:48Z) - Multimodal Gen-AI for Fundamental Investment Research [2.559302299676632]
本報告では、従来の意思決定プロセスを再考する金融投資業界における変革的イニシアティブについて概説する。
基礎モデル(Llama2)上での微調整手法の有効性を評価し,アプリケーションレベルの目標を達成する。
このプロジェクトには、調査報告、投資メモ、市場ニュース、広範な時系列市場データなど、さまざまなコーパスデータセットが含まれている。
論文 参考訳(メタデータ) (2023-12-24T03:35:13Z) - Incorporating Pre-trained Model Prompting in Multimodal Stock Volume
Movement Prediction [22.949484374773967]
本稿では,PromptをベースとしたMUltimodal Stock volumE予測モデル(ProMUSE)を提案する。
金融ニュースの理解を深めるために、事前訓練された言語モデルを使用します。
また, この問題を緩和するため, 核融合ヘッドの横にある一方向の頭部を保ちながら, 新たな異方性コントラストアライメントを提案する。
論文 参考訳(メタデータ) (2023-09-11T16:47:01Z) - PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance [63.51545277822702]
PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。
我々はLLaMAを細調整してFinMAを提案する。
我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
論文 参考訳(メタデータ) (2023-06-08T14:20:29Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z) - Explainable Matrix -- Visualization for Global and Local
Interpretability of Random Forest Classification Ensembles [78.6363825307044]
本研究では,ランダムフォレスト (RF) 解釈のための新しい可視化手法である Explainable Matrix (ExMatrix) を提案する。
単純なマトリックスのようなメタファで、行はルール、列は特徴、セルはルールを述語する。
ExMatrixの適用性は、異なる例を通じて確認され、RFモデルの解釈可能性を促進するために実際にどのように使用できるかを示している。
論文 参考訳(メタデータ) (2020-05-08T21:03:48Z) - Gaussian process imputation of multiple financial series [71.08576457371433]
金融指標、株価、為替レートなどの複数の時系列は、市場が潜んでいる状態に依存しているため、強く結びついている。
金融時系列間の関係を多出力ガウスプロセスでモデル化することで学習することに注力する。
論文 参考訳(メタデータ) (2020-02-11T19:18:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。