論文の概要: BizBench: A Quantitative Reasoning Benchmark for Business and Finance
- arxiv url: http://arxiv.org/abs/2311.06602v2
- Date: Tue, 12 Mar 2024 16:54:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 01:24:25.596024
- Title: BizBench: A Quantitative Reasoning Benchmark for Business and Finance
- Title（参考訳）: BizBench:ビジネスとファイナンスのための定量的推論ベンチマーク
- Authors: Rik Koncel-Kedziorski, Michael Krumdick, Viet Lai, Varshini Reddy,
Charles Lovering, Chris Tanner
- Abstract要約: BizBenchは、現実的な金融問題を推論するモデルの能力を評価するためのベンチマークである。
新たに収集および拡張されたQAデータから、財務的にテーマ化された3つのコード生成タスクを含む。
これらのタスクは、モデルの財務的背景の知識、財務文書を解析する能力、およびコードの問題を解決する能力を評価する。
- 参考スコア（独自算出の注目度）: 7.4673182865000225
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Answering questions within business and finance requires reasoning,
precision, and a wide-breadth of technical knowledge. Together, these
requirements make this domain difficult for large language models (LLMs). We
introduce BizBench, a benchmark for evaluating models' ability to reason about
realistic financial problems. BizBench comprises eight quantitative reasoning
tasks, focusing on question-answering (QA) over financial data via program
synthesis. We include three financially-themed code-generation tasks from newly
collected and augmented QA data. Additionally, we isolate the reasoning
capabilities required for financial QA: reading comprehension of financial text
and tables for extracting intermediate values, and understanding financial
concepts and formulas needed to calculate complex solutions. Collectively,
these tasks evaluate a model's financial background knowledge, ability to parse
financial documents, and capacity to solve problems with code. We conduct an
in-depth evaluation of open-source and commercial LLMs, comparing and
contrasting the behavior of code-focused and language-focused models. We
demonstrate that the current bottleneck in performance is due to LLMs' limited
business and financial understanding, highlighting the value of a challenging
benchmark for quantitative reasoning within this domain.
- Abstract（参考訳）: ビジネスとファイナンス内の質問に答えるためには、推論、精度、幅広い技術的知識が必要である。
これらの要求により、この領域は大規模言語モデル(LLM)では困難である。
現実的な金融問題に対するモデルの判断能力を評価するベンチマークであるbizbenchを紹介する。
BizBenchは8つの量的推論タスクで構成され、プログラム合成による財務データに対する質問回答(QA)に焦点を当てている。
新たに収集および拡張されたQAデータから、財務的にテーマ化された3つのコード生成タスクを含む。
さらに、金融qaに必要な推論能力を分離する: 中間値を抽出するための金融テキストと表の理解を読み、複雑な解を計算するのに必要な金融概念と公式を理解する。
総じて、これらのタスクはモデルの財務的背景知識、財務文書の解析能力、コードで問題を解決する能力を評価する。
我々は,オープンソースおよび商用LLMの詳細な評価を行い,コード中心モデルと言語中心モデルの振る舞いを比較し,対比する。
現在のパフォーマンスのボトルネックは、LLMのビジネスと財務の理解の制限によるものであり、この分野における定量的推論のための挑戦的なベンチマークの価値を強調しています。
関連論文リスト
- Evaluating Large Language Models on Financial Report Summarization: An Empirical Study [9.28042182186057]
我々は3つの最先端大言語モデル(LLM)の比較研究を行っている。
我々の主な動機は、これらのモデルがどのように金融の中で活用できるかを探求することであり、正確さ、文脈的関連性、誤った情報や誤解を招く情報に対する堅牢性を要求する分野である。
本稿では,定量的メトリクス(精度,リコールなど)と質的分析(コンテキスト適合性,一貫性など)を統合し,各モデルの出力品質の全体像を提供する,革新的な評価フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-11T10:36:04Z) - CatMemo at the FinLLM Challenge Task: Fine-Tuning Large Language Models using Data Fusion in Financial Applications [10.225210627594894]
IJCAI-2024 FinLLMの課題に対して,金融業務の3つの重要な領域におけるLLMの能力について検討した。
金融分類、財務文書要約、単一株式取引について検討する。
提案手法は,これらの多様なタスクを包括的かつ総合的に処理することを目的としており,LLMの多様かつ複雑な財務課題への対処能力の向上と意思決定能力の向上を図っている。
論文 参考訳（メタデータ） (2024-07-02T05:04:13Z) - Financial Knowledge Large Language Model [4.599537455808687]
大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークであるIDEA-FinBenchを紹介する。
金融分野への一般LLMの迅速な適応を容易にするためのフレームワークであるIDEA-FinKERを提案する。
最後に LLM を利用した財務質問応答システム IDEA-FinQA を提案する。
論文 参考訳（メタデータ） (2024-06-29T08:26:49Z) - A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges [60.546677053091685]
大規模言語モデル(LLM)は金融分野における機械学習アプリケーションに新たな機会を開放した。
我々は、従来のプラクティスを変革し、イノベーションを促進する可能性に焦点を当て、様々な金融業務におけるLLMの適用について検討する。
本稿では,既存の文献を言語タスク,感情分析,財務時系列,財務推論,エージェントベースモデリング,その他の応用分野に分類するための調査を紹介する。
論文 参考訳（メタデータ） (2024-06-15T16:11:35Z) - AlphaFin: Benchmarking Financial Analysis with Retrieval-Augmented Stock-Chain Framework [48.3060010653088]
我々はAlphaFinデータセットをリリースし、従来の研究データセット、リアルタイム財務データ、手書きのチェーン・オブ・プリート(CoT)データを組み合わせています。
次に、AlphaFinデータセットを使用して、金融分析タスクを効果的に処理するために、Stock-Chainと呼ばれる最先端の手法をベンチマークします。
論文 参考訳（メタデータ） (2024-03-19T09:45:33Z) - FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。
FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
論文 参考訳（メタデータ） (2024-02-20T02:16:16Z) - Evaluating LLMs' Mathematical Reasoning in Financial Document Question
Answering [53.56653281752486]
本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。
数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。
半構造化文書に適した新しいプロンプト技術を導入する。
論文 参考訳（メタデータ） (2024-02-17T05:10:18Z) - FinDABench: Benchmarking Financial Data Analysis Ability of Large Language Models [26.99936434072108]
textttFinDABenchは、大規模言語モデルの財務データ分析能力を評価するために設計されたベンチマークである。
textttFinDABenchは、LLM能力の詳細な分析のための指標を提供することを目的としている。
論文 参考訳（メタデータ） (2024-01-01T15:26:23Z) - PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance [63.51545277822702]
PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。
我々はLLaMAを細調整してFinMAを提案する。
我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
論文 参考訳（メタデータ） (2023-06-08T14:20:29Z) - FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。
我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。
その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
論文 参考訳（メタデータ） (2021-09-01T00:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。