論文の概要: FinTruthQA: A Benchmark Dataset for Evaluating the Quality of Financial Information Disclosure
- arxiv url: http://arxiv.org/abs/2406.12009v2
- Date: Sat, 07 Dec 2024 15:47:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:49:46.268270
- Title: FinTruthQA: A Benchmark Dataset for Evaluating the Quality of Financial Information Disclosure
- Title（参考訳）: FinTruthQA:財務情報開示の品質評価のためのベンチマークデータセット
- Authors: Ziyue Xu, Peilin Zhou, Xinyu Shi, Jiageng Wu, Yikang Jiang, Dading Chong, Bin Ke, Jie Yang,
- Abstract要約: FinTruthQAは6000の現実世界の財務Q&Aエントリで構成され、各Q&Aは4つの主要な評価基準に基づいて手動でアノテートされた。
我々はFinTruthQA上で,統計的機械学習モデル,事前学習言語モデル,微調整バージョンなど,さまざまなNLP手法をベンチマークした。
FinTruthQAは監査人、規制当局、金融アナリストがリアルタイム監視やデータ駆動意思決定に使用することができる。
- 参考スコア（独自算出の注目度）: 11.08854619249383
- License:
- Abstract: Accurate and transparent financial information disclosure is crucial in the fields of accounting and finance, ensuring market efficiency and investor confidence. Among many information disclosure platforms, the Chinese stock exchanges' investor interactive platform provides a novel and interactive way for listed firms to disclose information of interest to investors through an online question-and-answer (Q&A) format. However, it is common for listed firms to respond to questions with limited or no substantive information, and automatically evaluating the quality of financial information disclosure on large amounts of Q&A pairs is challenging. This paper builds a benchmark FinTruthQA, that can evaluate advanced natural language processing (NLP) techniques for the automatic quality assessment of information disclosure in financial Q&A data. FinTruthQA comprises 6,000 real-world financial Q&A entries and each Q&A was manually annotated based on four key evaluation criteria: question identification, question relevance, answer readability, and answer relevance. We benchmarked various NLP techniques on FinTruthQA, including statistical machine learning models, pre-trained language model and their fine-tuned versions, as well as large language models (LLMs). By establishing this benchmark, we provide a robust foundation for the automatic evaluation of information disclosure, significantly enhancing the transparency and quality of financial reporting. FinTruthQA can be used by auditors, regulators, and financial analysts for real-time monitoring and data-driven decision-making, as well as by researchers for advanced studies in accounting and finance, ultimately fostering greater trust and efficiency in the financial markets.
- Abstract（参考訳）: 正確な透明性のある財務情報開示は、会計と金融の分野で重要であり、市場効率と投資家の信頼を確実にする。
多くの情報開示プラットフォームの中で、中国証券取引所の投資家インタラクティブプラットフォームは、オンラインのQ&Aフォーマットを通じて、上場企業が投資家に興味のある情報を開示するための、新しくてインタラクティブな方法を提供する。
しかし、上場企業では、限定的あるいは実質的な情報のない質問に回答することが一般的であり、大量のQ&A対の財務情報開示の質を自動評価することは困難である。
本稿では、金融Q&Aデータにおける情報開示の自動品質評価のための高度な自然言語処理(NLP)技術を評価するためのベンチマークFinTruthQAを構築する。
FinTruthQAは、6000の現実世界の財務Q&Aエントリで構成され、質問識別、質問関連、回答可読性、回答関連性の4つの主要な評価基準に基づいて、各Q&Aを手動でアノテートした。
我々はFinTruthQA上で,統計的機械学習モデル,事前学習言語モデル,それらの微調整バージョン,および大規模言語モデル(LLM)など,さまざまなNLPテクニックをベンチマークした。
このベンチマークを確立することで、情報開示の自動評価のための堅牢な基盤を提供し、財務報告の透明性と品質を大幅に向上させる。
FinTruthQAは監査人、規制当局、金融アナリストがリアルタイム監視やデータ駆動意思決定に利用でき、また会計と金融の高度な研究のための研究者も利用でき、最終的には金融市場の信頼と効率を高めることができる。
関連論文リスト
- CFinBench: A Comprehensive Chinese Financial Benchmark for Large Language Models [61.324062412648075]
CFinBenchは、中国の文脈下での大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークである。
この質問は、43の第二級カテゴリーにまたがる99,100の質問で構成されており、3つの質問タイプがある: シングルチョイス、マルチチョイス、そして判断である。
結果は、GPT4といくつかの中国指向モデルがベンチマークをリードし、平均精度は60.16%であることを示している。
論文 参考訳（メタデータ） (2024-07-02T14:34:36Z) - Financial Knowledge Large Language Model [4.599537455808687]
大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークであるIDEA-FinBenchを紹介する。
金融分野への一般LLMの迅速な適応を容易にするためのフレームワークであるIDEA-FinKERを提案する。
最後に LLM を利用した財務質問応答システム IDEA-FinQA を提案する。
論文 参考訳（メタデータ） (2024-06-29T08:26:49Z) - AlphaFin: Benchmarking Financial Analysis with Retrieval-Augmented Stock-Chain Framework [48.3060010653088]
我々はAlphaFinデータセットをリリースし、従来の研究データセット、リアルタイム財務データ、手書きのチェーン・オブ・プリート(CoT)データを組み合わせています。
次に、AlphaFinデータセットを使用して、金融分析タスクを効果的に処理するために、Stock-Chainと呼ばれる最先端の手法をベンチマークします。
論文 参考訳（メタデータ） (2024-03-19T09:45:33Z) - FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。
FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
論文 参考訳（メタデータ） (2024-02-20T02:16:16Z) - Revolutionizing Finance with LLMs: An Overview of Applications and
Insights [47.11391223936608]
ChatGPTのような大規模言語モデル(LLM)はかなり進歩しており、様々な分野に適用されている。
これらのモデルは、財務報告の自動生成、市場のトレンド予測、投資家の感情分析、パーソナライズされた財務アドバイスの提供に利用されています。
論文 参考訳（メタデータ） (2024-01-22T01:06:17Z) - BizBench: A Quantitative Reasoning Benchmark for Business and Finance [7.4673182865000225]
BizBenchは、現実的な金融問題を推論するモデルの能力を評価するためのベンチマークである。
新たに収集および拡張されたQAデータから、財務的にテーマ化された3つのコード生成タスクを含む。
これらのタスクは、モデルの財務的背景の知識、財務文書を解析する能力、およびコードの問題を解決する能力を評価する。
論文 参考訳（メタデータ） (2023-11-11T16:16:11Z) - FinEval: A Chinese Financial Domain Knowledge Evaluation Benchmark for
Large Language Models [25.137098233579255]
FinEvalは、大規模言語モデル(LLM)における金融ドメイン知識のベンチマークである。
FinEvalには、ゼロショットプロンプトや少数ショットプロンプトなど、さまざまなプロンプトタイプが採用されている。
その結果, GPT-4の精度は, 異なるプロンプト設定で70%に近かった。
論文 参考訳（メタデータ） (2023-08-19T10:38:00Z) - PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance [63.51545277822702]
PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。
我々はLLaMAを細調整してFinMAを提案する。
我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
論文 参考訳（メタデータ） (2023-06-08T14:20:29Z) - Financial data analysis application via multi-strategy text processing [0.2741266294612776]
本稿では、主に中国A株会社の株価取引データとニュースに焦点を当てる。
本稿では,自然言語処理(NLP)と知識グラフ(KG)技術を用いた金融テキスト処理アプリケーションシナリオの深層学習に向けた取り組みと計画について述べる。
論文 参考訳（メタデータ） (2022-04-25T01:56:36Z) - FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。
我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。
その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
論文 参考訳（メタデータ） (2021-09-01T00:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。