論文の概要: FETILDA: An Effective Framework For Fin-tuned Embeddings For Long
Financial Text Documents
- arxiv url: http://arxiv.org/abs/2206.06952v1
- Date: Tue, 14 Jun 2022 16:14:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-15 14:00:53.421757
- Title: FETILDA: An Effective Framework For Fin-tuned Embeddings For Long
Financial Text Documents
- Title(参考訳): fetilda:fin-tuned embeddeds for long financial text documentの効果的なフレームワーク
- Authors: Bolun "Namir" Xia, Vipula D. Rawte, Mohammed J. Zaki, Aparna Gupta
- Abstract要約: 本稿では,長い文書をチャンクに分割し,事前学習したLMを用いてチャンクをベクトル表現に処理・集約するディープラーニングフレームワークを提案し,実装する。
我々は、米国銀行からの10-Kの公開開示レポートの収集と、米国企業が提出した別のレポートのデータセットについて、我々の枠組みを評価した。
- 参考スコア(独自算出の注目度): 14.269860621624394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unstructured data, especially text, continues to grow rapidly in various
domains. In particular, in the financial sphere, there is a wealth of
accumulated unstructured financial data, such as the textual disclosure
documents that companies submit on a regular basis to regulatory agencies, such
as the Securities and Exchange Commission (SEC). These documents are typically
very long and tend to contain valuable soft information about a company's
performance. It is therefore of great interest to learn predictive models from
these long textual documents, especially for forecasting numerical key
performance indicators (KPIs). Whereas there has been a great progress in
pre-trained language models (LMs) that learn from tremendously large corpora of
textual data, they still struggle in terms of effective representations for
long documents. Our work fills this critical need, namely how to develop better
models to extract useful information from long textual documents and learn
effective features that can leverage the soft financial and risk information
for text regression (prediction) tasks. In this paper, we propose and implement
a deep learning framework that splits long documents into chunks and utilizes
pre-trained LMs to process and aggregate the chunks into vector
representations, followed by self-attention to extract valuable document-level
features. We evaluate our model on a collection of 10-K public disclosure
reports from US banks, and another dataset of reports submitted by US
companies. Overall, our framework outperforms strong baseline methods for
textual modeling as well as a baseline regression model using only numerical
data. Our work provides better insights into how utilizing pre-trained
domain-specific and fine-tuned long-input LMs in representing long documents
can improve the quality of representation of textual data, and therefore, help
in improving predictive analyses.
- Abstract(参考訳): 構造化されていないデータ、特にテキストは、様々な領域で急速に成長を続けている。
特に金融の分野では、企業が証券取引委員会(sec)などの規制当局に定期的に提出する文書開示文書など、蓄積された非構造化金融データが豊富に存在する。
これらの文書は一般的に非常に長く、会社の業績に関する貴重なソフト情報を含んでいる傾向がある。
したがって、これらの長文文書から予測モデルを学ぶこと、特に数値的なキー性能指標(KPI)を予測することは大きな関心事である。
テキストデータの膨大なコーパスから学習する事前学習された言語モデル(LM)は大きな進歩を遂げているが、長い文書の効果的な表現の面ではまだ苦戦している。
我々の研究は、長文文書から有用な情報を抽出し、テキスト回帰(予測)タスクにソフトファイナンシャルおよびリスク情報を活用できる効果的な特徴を学習するための、より良いモデルの開発という、この重要なニーズを満たす。
本稿では,長い文書をチャンクに分割し,事前学習したLMを用いて,チャンクをベクトル表現に処理・集約する深層学習フレームワークの提案と実装を行う。
我々は、米国銀行からの10kの公開開示報告と、米国企業が提出した報告書のデータセットに基づいて、このモデルを評価する。
全体として,本フレームワークは,数値データのみを用いたベースライン回帰モデルと同様に,テキストモデリングのための強力なベースライン手法を上回る。
我々の研究は、文書の長文表現における事前訓練済みのドメイン固有および微調整長文LMの活用により、テキストデータの表現の質が向上し、予測分析の改善に有効であることを示す。
関連論文リスト
- LongWanjuan: Towards Systematic Measurement for Long Text Quality [102.46517202896521]
LongWanjuanは160B以上のトークンを持つ長文タスクのための言語モデルのトレーニングを強化するために特別に設計されたデータセットである。
LongWanjuanでは、長文を全体的、集約的、カオス的なタイプに分類し、長文品質の詳細な分析を可能にする。
我々は,LongWanjuan内で異なるタイプの長文を戦略的にバランスさせるデータ混合レシピを考案し,長文タスクにおけるモデル性能を大幅に改善した。
論文 参考訳(メタデータ) (2024-02-21T07:27:18Z) - LongFin: A Multimodal Document Understanding Model for Long Financial
Domain Documents [4.924255992661131]
最大4Kトークンをエンコード可能なマルチモーダル文書AIモデルであるLongFinを紹介する。
また、金融文書におけるいくつかの産業課題をカプセル化したLongFormsデータセットを提案する。
論文 参考訳(メタデータ) (2024-01-26T18:23:45Z) - Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。
1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。
小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
論文 参考訳(メタデータ) (2024-01-26T11:04:01Z) - Multimodal Document Analytics for Banking Process Automation [4.541582055558865]
本論文は,銀行業務における文書処理における多モデルモデルの有効性と効率に関する実証的証拠を提示する。
日々の業務でこの可能性を解き放つための実践的なガイダンスを提供する。
論文 参考訳(メタデータ) (2023-07-21T18:29:04Z) - Cross-Lingual NER for Financial Transaction Data in Low-Resource
Languages [70.25418443146435]
半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。
我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。
わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
論文 参考訳(メタデータ) (2023-07-16T00:45:42Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳(メタデータ) (2023-07-10T11:29:41Z) - Lost in the Middle: How Language Models Use Long Contexts [88.78803442320246]
本研究では,言語モデルの性能を2つのタスクで解析する。
関連する情報の位置を変えると,性能が著しく低下することがわかった。
我々の分析は、言語モデルが入力コンテキストをどのように使用するかをよりよく理解し、将来の長文言語モデルのための新しい評価プロトコルを提供する。
論文 参考訳(メタデータ) (2023-07-06T17:54:11Z) - Enabling and Analyzing How to Efficiently Extract Information from
Hybrid Long Documents with LLMs [48.87627426640621]
本研究は,財務報告から重要な情報を理解するために,大規模言語モデルの可能性を活用することに焦点を当てる。
財務報告から情報を理解し抽出するLLMの能力を高める自動財務情報抽出フレームワークを提案する。
本フレームワークは, GPT-3.5とGPT-4で有効に検証され, 平均精度は53.94%, 33.77%向上した。
論文 参考訳(メタデータ) (2023-05-24T10:35:58Z) - ECTSum: A New Benchmark Dataset For Bullet Point Summarization of Long
Earnings Call Transcripts [19.974530405492885]
我々は、公開企業によって運営されている決算書(ECT)を文書として、新たなデータセットを提示する。
また、コールで議論された重要な事実を正確に捉えるために、単純なyet- Effective(ECT-BPS)アプローチも提案する。
論文 参考訳(メタデータ) (2022-10-22T15:02:41Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-03-15T01:24:51Z) - NumHTML: Numeric-Oriented Hierarchical Transformer Model for Multi-task
Financial Forecasting [17.691653056521904]
本稿では,マルチモーダル・アライン・ファイナンス・コールデータを用いて,株価リターンと金融リスクを予測する数値指向階層型トランスフォーマーモデルについて述べる。
実世界の公開データセットを用いて,いくつかの最先端ベースラインに対するNum HTMLの総合的な評価結果を示す。
論文 参考訳(メタデータ) (2022-01-05T10:17:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。