論文の概要: Effective Performance Measurement: Challenges and Opportunities in KPI Extraction from Earnings Calls
- arxiv url: http://arxiv.org/abs/2605.03147v1
- Date: Mon, 04 May 2026 20:40:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:43.646385
- Title: Effective Performance Measurement: Challenges and Opportunities in KPI Extraction from Earnings Calls
- Title(参考訳): 効果的な性能測定:ピアニングコールからのKPI抽出における課題と機会
- Authors: Rasmus T. Aavang, Rasmus Tjalk-Bøggild, Alexandre Iolov, Giovanni Rizzi, Mike Zhang, Johannes Bjerva,
- Abstract要約: SECの申請書やコンテキスト内学習法で訓練されたモデルで得られた情報を評価する。
そこで本稿では,LLMを用いた非構造化呼起こ書き起こしからのオープンエンド抽出を行うシステムを提案する。
- 参考スコア(独自算出の注目度): 43.85438181764358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Earnings calls are a key source of financial information about public companies. However, extracting information from these calls is difficult. Unlike the templatic filings required by the U.S. Securities and Exchange Commission (SEC) to report a company's financial situation, earnings conference calls have no built-in labels, are unstructured, and feature conversational language. We explore this challenging domain by assessing the information captured by models trained on SEC filings and in-context learning methods. To establish a baseline, we first evaluate the generalization capabilities of SEC-trained models across established SEC datasets. To support our investigation, we introduce three novel benchmarks: (1) SEC Filings Benchmark (SECB), (2) Earnings Calls Benchmark (ECB), and ECB-A, a subset with 2,460 expert annotation groups to support our qualitative analysis. We find that encoder-based models struggle with the domain shift. Finally, we propose a system utilizing LLMs to perform open-ended extraction from unstructured call transcripts, verified by human evaluation (79.7% precision), providing a baseline for this valuable domain through the consistent tracking of emergent KPIs.
- Abstract(参考訳): Earningsの通話は、上場企業に関する財務情報の重要な情報源だ。
しかし、これらの呼び出しから情報を抽出することは困難である。
米国証券取引委員会(SEC)が企業の財務状況を報告するために要求するテンポラティックな申請とは異なり、収支会議の電話にはラベルが組み込まれておらず、構造化されていない。
我々は、SECの申請書やコンテキスト内学習法で訓練されたモデルによって収集された情報を評価することで、この困難な領域を探求する。
ベースラインを確立するために、まず、確立されたSECデータセット間でSEC訓練されたモデルの一般化能力を評価する。
調査を支援するため,(1)SECフィリングベンチマーク(SECB),(2)Earnings Calls Benchmark(ECB),および2,460名の専門家アノテーショングループからなるECB-Aの3つの新しいベンチマークを紹介した。
エンコーダベースのモデルでは、ドメインシフトに苦労しています。
最後に,LLMを用いて非構造化呼出文字からのオープンエンド抽出を行い,その精度79.7%の精度で評価し,創発的KPIを一貫した追跡によって,この価値ある領域のベースラインを提供するシステムを提案する。
関連論文リスト
- Evaluating Large Language Models for Stance Detection on Financial Targets from SEC Filing Reports and Earnings Call Transcripts [45.13099538394587]
我々は,債務,1株当たり利益(EPS),販売という3つの中核的財務指標に着目したスタンス検出のための文レベルのコーパスを導入する。
文章は10-Kの年次報告とECTから抽出され, 高度なChatGPT-o3-proモデルを用いてスタンスにラベル付けされた。
このコーパスを用いて、ゼロショット、少数ショット、およびCoT(Chain-of-Thought)の促進戦略を用いて、現代大言語モデル(LLM)の体系的評価を行う。
論文 参考訳(メタデータ) (2025-10-27T16:03:20Z) - FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。
このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。
我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
論文 参考訳(メタデータ) (2025-08-07T22:15:22Z) - SAE-FiRE: Enhancing Earnings Surprise Predictions Through Sparse Autoencoder Feature Selection [29.540850801930276]
SAE-FiRE (Sparse Autoencoder for Financial Representation Enhancement) フレームワークを提案する。
SAE-FiREはスパースオートエンコーダ(SAE)を使用して、大言語モデルから高密度なニューラル表現を解釈可能なスパースコンポーネントに分解する。
過度な適合につながる可能性のあるノイズを体系的にフィルタリングすることで、より堅牢で一般化可能な予測を可能にします。
論文 参考訳(メタデータ) (2025-05-20T14:31:23Z) - FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting [58.70072722290475]
ファイナンシャル・タイム・シリーズ(FinTS)は、人間の脳を増強した意思決定の行動を記録する。
FinTSBは金融時系列予測のための総合的で実用的なベンチマークである。
論文 参考訳(メタデータ) (2025-02-26T05:19:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。