論文の概要: Finding Stakeholder-Material Information from 10-K Reports using Fine-Tuned BERT and LSTM Models

• arxiv url: http://arxiv.org/abs/2308.07522v1
• Date: Tue, 15 Aug 2023 01:25:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 14:19:58.569792
• Title: Finding Stakeholder-Material Information from 10-K Reports using Fine-Tuned BERT and LSTM Models
• Title（参考訳）: 微調整BERTモデルとLSTMモデルを用いた10-Kレポートからのステークホルダー情報発見
• Authors: Victor Zitian Chen
• Abstract要約: すべての公開企業は、連邦証券法により、毎年10-Kの報告書で事業と金融活動の開示を義務付けられている。 この問題を解決するため、ステークホルダー・マテリアル情報を特定するため、LSTM層を用いたBERTモデルとRNNモデルを微調整した。 最良モデルは0.904、F1スコアは0.899で、それぞれベースラインモデルの0.781と0.749を大きく上回っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: All public companies are required by federal securities law to disclose their business and financial activities in their annual 10-K reports. Each report typically spans hundreds of pages, making it difficult for human readers to identify and extract the material information efficiently. To solve the problem, I have fine-tuned BERT models and RNN models with LSTM layers to identify stakeholder-material information, defined as statements that carry information about a company's influence on its stakeholders, including customers, employees, investors, and the community and natural environment. The existing practice uses keyword search to identify such information, which is my baseline model. Using business expert-labeled training data of nearly 6,000 sentences from 62 10-K reports published in 2022, the best model has achieved an accuracy of 0.904 and an F1 score of 0.899 in test data, significantly above the baseline model's 0.781 and 0.749 respectively. Furthermore, the same work was replicated on more granular taxonomies, based on which four distinct groups of stakeholders (i.e., customers, investors, employees, and the community and natural environment) are tested separately. Similarly, fined-tuned BERT models outperformed LSTM and the baseline. The implications for industry application and ideas for future extensions are discussed.
• Abstract（参考訳）: 公開企業はすべて、連邦証券法によって毎年10-kの報告書で事業や金融活動の開示が求められている。 レポートは通常、数百ページに及ぶため、人間の読者が素材情報を効率的に識別し抽出することが困難になる。 この問題を解決するため、LSTMレイヤを用いたBERTモデルとRNNモデルを微調整し、顧客、従業員、投資家、およびコミュニティや自然環境など、企業の利害関係者への影響に関する情報を伝達する声明として定義する。 既存のプラクティスではキーワード検索を使ってその情報を識別しています。 2022年に発表された62の10-Kレポートから6000文近いビジネス専門家ラベル付きトレーニングデータを用いて、最良のモデルは、それぞれベースラインモデルの0.781と0.749を大きく上回る0.904とF1スコアの0.899の精度を達成した。 さらに、4つの異なる利害関係者グループ(顧客、投資家、従業員、コミュニティおよび自然環境)が別々にテストされている。 同様に、微調整のBERTモデルはLSTMとベースラインを上回りました。 今後の拡張に向けた産業応用とアイデアについて論じる。

関連論文リスト

• Application of AI in Credit Risk Scoring for Small Business Loans: A case study on how AI-based random forest model improves a Delphi model outcome in the case of Azerbaijani SMEs [0.0]
  本研究は,機械学習ランダム森林モデルの適用により,デルフィモデルの精度と精度が向上することを示す。 この研究は、両方のモデルの精度、精度、リコール、F-1スコアを使用して、それらを比較し、アルゴリズムをPythonで実行した。
  論文  参考訳（メタデータ） (2024-10-05T23:07:13Z)
• One Thousand and One Pairs: A "novel" challenge for long-context language models [56.60667988954638]
  NoChaは、67冊の架空の書籍に関する1,001対の真偽の主張のデータセットである。 当社のアノテータは、NoChaにおけるペアの最大シェアは、本全体に対するグローバルな推論を必要としていることを確認しています。 平均的なモデルでは、文レベルの検索しか必要としないペアの方が、グローバルな推論よりもはるかに優れています。
  論文  参考訳（メタデータ） (2024-06-24T02:03:57Z)
• Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
  本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。 拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
  論文  参考訳（メタデータ） (2024-03-07T18:00:40Z)
• Llamas Know What GPTs Don't Show: Surrogate Models for Confidence Estimation [70.27452774899189]
  大規模言語モデル(LLM)は、ユーザを誤解させるのではなく、不正な例に対して低い信頼を示さなければならない。 2023年11月現在、最先端のLLMはこれらの確率へのアクセスを提供していない。 言語的信頼度と代理モデル確率を構成する最良の方法は、12データセットすべてに対して最先端の信頼度推定を与える。
  論文  参考訳（メタデータ） (2023-11-15T11:27:44Z)
• Conversational Factor Information Retrieval Model (ConFIRM) [2.855224352436985]
  ConFIRM(Conversational Factor Information Retrieval Method)は、ドメイン固有の検索タスクのための大規模言語モデル(LLM)を微調整する新しい手法である。 本研究では、金融セクターにおけるケーススタディを通じて、パーソナライズされたデータを用いてLlama-2-7bモデルを微調整し、ConFIRMの有効性を実証する。 結果のモデルでは、ファイナンシャルクエリの分類において91%の精度が達成され、NVIDIA A100 GPU上での平均推論時間は0.61秒であった。
  論文  参考訳（メタデータ） (2023-10-06T12:31:05Z)
• Large Language Models for Semantic Monitoring of Corporate Disclosures: A Case Study on Korea's Top 50 KOSPI Companies [0.08192907805418582]
  OpenAIのGPT-3.5-turboやGPT-4のような最先端の言語モデルは、複雑なタスクを自動化する前例のない機会を提供する。 本研究は、韓国の文脈における企業情報開示のセマンティック分析におけるこれらのモデルの有効性について考察する。
  論文  参考訳（メタデータ） (2023-09-01T01:51:28Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Auditing and Generating Synthetic Data with Controllable Trust Trade-offs [54.262044436203965]
  合成データセットとAIモデルを包括的に評価する総合監査フレームワークを導入する。 バイアスや差別の防止、ソースデータへの忠実性の確保、実用性、堅牢性、プライバシ保護などに焦点を当てている。 多様なユースケースにまたがる様々な生成モデルを監査することにより,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-21T09:03:18Z)
• Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
  我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。 文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
  論文  参考訳（メタデータ） (2022-10-23T16:27:31Z)
• Pre-trained language models as knowledge bases for Automotive Complaint Analysis [0.0]
  BERTのようなトレーニング済みの大規模な言語モデルは、トレーニング済みのコーパスでキャプチャされた常識的な事実知識を格納することができる。 これらの結果は,顧客からのフィードバックを構造化分析するための知識基盤として言語モデルを用いる可能性を示している。
  論文  参考訳（メタデータ） (2020-12-04T12:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。