論文の概要: A Comparative Study of Evaluation Metrics for Long-Document Financial Narrative Summarization with Transformers

• arxiv url: http://arxiv.org/abs/2610.09529v1
• Date: Wed, 07 Oct 2026 06:29:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.751254
• Title: A Comparative Study of Evaluation Metrics for Long-Document Financial Narrative Summarization with Transformers
• Title（参考訳）: 変圧器を用いた長期財務ナラティブ要約の評価指標の比較検討
• Abstract要約: 抽出手法の異なる事前学習型変圧器の集合に対して,様々な要約手法をベンチマークする。 異なる振る舞いと適用可能性を調べるために,複数の評価指標を検討する。 本稿では,ROUGE-2とBERTscoreの調和平均として,新しいBRUGEscore測度を提案する。
• 参考スコア（独自算出の注目度）: 3.0712751539922394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There are more than 2,000 listed companies on the UK's London Stock Exchange, divided into 11 sectors who are required to communicate their financial results at least twice in a single financial year. UK annual reports are very lengthy documents with around 80 pages on average. In this study, we aim to benchmark a variety of summarisation methods on a set of different pre-trained transformers with different extraction techniques. In addition, we considered multiple evaluation metrics in order to investigate their differing behaviour and applicability on a dataset from the Financial Narrative Summarisation (FNS 2020) shared task, which is composed of annual reports published by firms listed on the London Stock Exchange and their corresponding summaries. We hypothesise that some evaluation metrics do not reflect true summarisation ability and propose a novel BRUGEscore metric, as the harmonic mean of ROUGE-2 and BERTscore. Finally, we perform a statistical significance test on our results to verify whether they are statistically robust, alongside an adversarial analysis task with three different corruption methods.
• Abstract（参考訳）: 英国のロンドン証券取引所には2000以上の上場企業があり、財務年度に少なくとも2回は財務結果を伝える必要がある11のセクターに分かれている。 イギリスの年次レポートは、非常に長いドキュメントで、平均80ページほどだ。 本研究では,異なる抽出手法を用いた事前学習型変圧器の集合に対して,様々な要約手法をベンチマークすることを目的とする。 また,FNS2020(Financial Narrative Summarisation:金融ナラティブ・サマライゼーション)共有タスクのデータセット上での振る舞いや適用性について,複数の評価指標を検討した。 我々は,いくつかの評価指標が真の要約能力を反映していないと仮定し,ROUGE-2とBERTscoreの調和平均として,新しいBRUGEscoreメトリックを提案する。 最後に, 統計的に頑健かどうかを統計的に検証するために, 3つの異なる汚職手法による逆解析タスクとともに統計的に有意な検証を行った。

関連論文リスト

• Enhancing Business Analytics through Hybrid Summarization of Financial Reports [0.152292571922932]
  財務報告と決算報告には大量の構造化情報と半構造化情報が含まれている。 本稿では,抽出的および抽象的手法を組み合わせて,簡潔かつ現実的に信頼性の高い要約を生成するハイブリッド要約フレームワークを提案する。 これらの知見は、長い財務文書を有効活用できるビジネスインテリジェンスに蒸留する実用的な要約システムの開発を支援するものである。
  論文  参考訳（メタデータ） (2025-12-28T16:25:12Z)
• FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting [58.70072722290475]
  ファイナンシャル・タイム・シリーズ(FinTS)は、人間の脳を増強した意思決定の行動を記録する。 FinTSBは金融時系列予測のための総合的で実用的なベンチマークである。
  論文  参考訳（メタデータ） (2025-02-26T05:19:16Z)
• Guardians of the Machine Translation Meta-Evaluation: Sentinel Metrics Fall In! [80.3129093617928]
  毎年、機械翻訳会議(WMT)において、メトリクス共有タスクオーガナイザは、機械翻訳(MT)メトリクスのメタ評価を行う。 この研究は、現在WMTで採用されているメタ評価フレームワークに関する2つの問題を強調し、メトリクスランキングへの影響を評価する。 本稿では,メタ評価プロセスの正確性,堅牢性,公正性を精査するために設計されたセンチネルメトリクスの概念を紹介する。
  論文  参考訳（メタデータ） (2024-08-25T13:29:34Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)
• Alibaba-Translate China's Submission for WMT 2022 Quality Estimation Shared Task [80.22825549235556]
  我々は、UniTEという品質評価共有タスクにおいて、文レベルのMQMベンチマークを提出する。 具体的には、トレーニング中に3種類の入力形式と事前学習された言語モデルを組み合わせたUniTEのフレームワークを用いる。 その結果,我々のモデルは多言語・英語・ロシア語設定では第1位,英語・ドイツ語・中国語設定では第2位に達した。
  論文  参考訳（メタデータ） (2022-10-18T08:55:27Z)
• TTRS: Tinkoff Transactions Recommender System benchmark [62.997667081978825]
  TTRS - Tinkoff Transactions Recommender Systemベンチマークを示す。 この金融取引ベンチマークには、約1万人のユーザーと、14ヶ月で1000以上の商業ブランドの間で200万以上のインタラクションが含まれている。 また,現在普及しているRecSys手法を次の期間の推薦タスクで総合的に比較し,その性能を様々な指標や推奨目標に対して詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-11T20:04:07Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)
• Unbabel's Participation in the WMT20 Metrics Shared Task [8.621669980568822]
  We present the contribution of the Unbabel team to the WMT 2020 Shared Task on Metrics。 すべての言語ペアでセグメントレベル、文書レベル、システムレベルのトラックに参加するつもりです。 前年度のテストセットを参考に、これらのトラックでモデルの結果を説明します。
  論文  参考訳（メタデータ） (2020-10-29T12:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。