論文の概要: The Structure of Financial Equity Research Reports -- Identification of the Most Frequently Asked Questions in Financial Analyst Reports to Automate Equity Research Using Llama 3 and GPT-4
- arxiv url: http://arxiv.org/abs/2407.18327v1
- Date: Thu, 4 Jul 2024 15:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-05 01:35:56.009103
- Title: The Structure of Financial Equity Research Reports -- Identification of the Most Frequently Asked Questions in Financial Analyst Reports to Automate Equity Research Using Llama 3 and GPT-4
- Title(参考訳): Llama 3 と GPT-4 を用いた金融分析報告における最も頻度の高い質問の同定
- Authors: Adria Pop, Jan Spörer, Siegfried Handschuh,
- Abstract要約: この研究は72のERRの文を文単位で分析し、48.7%の文を169の質問アーチタイプに分類した。
我々は質問を事前に定義しなかったが、ERRの声明からのみ派生した。
この研究は、現在のERRの書き込みプロセスが、さらなる自動化、品質と効率の改善の恩恵を受ける可能性があることを裏付けている。
- 参考スコア(独自算出の注目度): 6.085131799375494
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This research dissects financial equity research reports (ERRs) by mapping their content into categories. There is insufficient empirical analysis of the questions answered in ERRs. In particular, it is not understood how frequently certain information appears, what information is considered essential, and what information requires human judgment to distill into an ERR. The study analyzes 72 ERRs sentence-by-sentence, classifying their 4940 sentences into 169 unique question archetypes. We did not predefine the questions but derived them solely from the statements in the ERRs. This approach provides an unbiased view of the content of the observed ERRs. Subsequently, we used public corporate reports to classify the questions' potential for automation. Answers were labeled "text-extractable" if the answers to the question were accessible in corporate reports. 78.7% of the questions in ERRs can be automated. Those automatable question consist of 48.2% text-extractable (suited to processing by large language models, LLMs) and 30.5% database-extractable questions. Only 21.3% of questions require human judgment to answer. We empirically validate using Llama-3-70B and GPT-4-turbo-2024-04-09 that recent advances in language generation and information extraction enable the automation of approximately 80% of the statements in ERRs. Surprisingly, the models complement each other's strengths and weaknesses well. The research confirms that the current writing process of ERRs can likely benefit from additional automation, improving quality and efficiency. The research thus allows us to quantify the potential impacts of introducing large language models in the ERR writing process. The full question list, including the archetypes and their frequency, will be made available online after peer review.
- Abstract(参考訳): 本研究は、ERR(金融エクイティ・リサーチ・レポート)を分類し、コンテンツをカテゴリに分類する。
ERRで回答した質問に対する経験的分析は不十分である。
特に、特定の情報がどれだけ頻度で現れるか、どの情報が必須と考えられるか、どんな情報が人間の判断でERRに蒸留する必要があるかは理解されていない。
調査では、72のERRを文単位で分析し、4940の文を169の質問アーチタイプに分類した。
我々は質問を事前に定義しなかったが、ERRの声明からのみ派生した。
このアプローチは、観測されたERRの内容の偏見のないビューを提供する。
その後、公的な企業報告を用いて、質問の自動化の可能性の分類を行った。
質問に対する回答が企業報告でアクセス可能であれば、回答は「テキスト抽出可能」とラベル付けされた。
ERRにおける質問の78.7%は自動化できる。
自動化可能な質問は48.2%のテキスト抽出可能(大きな言語モデル、LLMによる処理に適した)と30.5%のデータベース抽出可能質問で構成されている。
21.3%の質問は人間の判断で答える必要がある。
Llama-3-70B と GPT-4-turbo-2024-04-09 を用いて,最近の言語生成と情報抽出の進歩により,ERR における文の約80%の自動化が可能となることを実証的に検証した。
驚くべきことに、モデルは互いの強みと弱みをうまく補完する。
この研究は、現在のERRの書き込みプロセスが、さらなる自動化、品質と効率の改善の恩恵を受ける可能性があることを裏付けている。
そこで本研究では,ERR記述プロセスにおける大規模言語モデルの導入による潜在的影響を定量化する。
アーチェタイプとその頻度を含む全質問リストは、ピアレビュー後にオンラインで公開される。
関連論文リスト
- RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。
本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
論文 参考訳(メタデータ) (2024-10-18T16:11:29Z) - I Could've Asked That: Reformulating Unanswerable Questions [89.93173151422636]
我々は、解決不可能な質問を改定するためのオープンソースおよびプロプライエタリなモデルを評価する。
GPT-4とLlama2-7Bは、それぞれ26%と12%しか質問を修正できなかった。
ベンチマークとコードを公開して実験を再現します。
論文 参考訳(メタデータ) (2024-07-24T17:59:07Z) - Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。
質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。
我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
論文 参考訳(メタデータ) (2024-05-26T22:30:29Z) - CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。
提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
論文 参考訳(メタデータ) (2024-04-28T18:21:31Z) - ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。
我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。
分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
論文 参考訳(メタデータ) (2023-09-14T16:54:34Z) - Connecting Humanities and Social Sciences: Applying Language and Speech
Technology to Online Panel Surveys [2.0646127669654835]
オランダのパネル調査において,言語と音声技術のオープンエンド質問への適用について検討した。
実験波では、回答者は音声やキーボードを使ってオープンな質問に答えることができた。
本稿では,ASRシステムが生成した誤りを報告し,これらの誤りが下流解析に与える影響について検討する。
論文 参考訳(メタデータ) (2023-02-21T10:52:15Z) - Question Answering Survey: Directions, Challenges, Datasets, Evaluation
Matrices [0.0]
QA分野の研究の方向性は,質問の種類,回答の種類,根拠の源泉,モデリングアプローチに基づいて分析される。
これに続き、自動質問生成、類似性検出、言語に対する低リソース可用性など、この分野のオープンな課題が続きます。
論文 参考訳(メタデータ) (2021-12-07T08:53:40Z) - Answer Generation for Questions With Multiple Information Sources in
E-Commerce [0.0]
本稿では,関連性やあいまいさの予測を別々に行うことで,上記ソースに存在する豊富な情報を利用する新しいパイプライン(MSQAP)を提案する。
これは、仕様、類似の質問、データレビューなど、さまざまなソースに存在する情報を組み合わせた自然言語の回答を自動的に生成する、eコマース領域における最初の作業である。
論文 参考訳(メタデータ) (2021-11-27T23:19:49Z) - A Dataset of Information-Seeking Questions and Answers Anchored in
Research Papers [66.11048565324468]
1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。
各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。
他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
論文 参考訳(メタデータ) (2021-05-07T00:12:34Z) - Determining Question-Answer Plausibility in Crowdsourced Datasets Using
Multi-Task Learning [10.742152224470317]
本稿では,品質分析とデータクリーニングのための新しいタスクを提案する。
ソーシャルメディア利用者からのマシンやユーザ生成の質問とクラウドソースによる回答が与えられた場合、質問と回答が有効かどうかを判断する。
クリーンで使いやすい質問応答データセットを生成するためのモデルの有効性を評価する。
論文 参考訳(メタデータ) (2020-11-10T04:11:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。