Fugu-MT 論文翻訳(概要): Earnings25: A Comprehensive 500-Hour Speech Benchmark for Finance

論文の概要: Earnings25: A Comprehensive 500-Hour Speech Benchmark for Finance

arxiv url: http://arxiv.org/abs/2607.23813v1
Date: Sun, 26 Jul 2026 19:24:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:15.242174
Title: Earnings25: A Comprehensive 500-Hour Speech Benchmark for Finance
Title（参考訳）: Earnings25:ファイナンスのための総合500時間スピーチベンチマーク
Abstract要約: Earnings25は、英語の収支表上で自動音声認識(ASR)を評価するためのベンチマークである。 Earnings25は2つの相補的なテストセットで構成されている: (i)テストセットフル、498時間の英語S&P 500の決算報告(Q4 2025)と(ii)テストセットセグメンテーション(segmented)。
参考スコア（独自算出の注目度）: 2.866002278545977
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce Earnings25, a finance-domain benchmark for evaluating automatic speech recognition (ASR) on English-language earnings calls under realistic conditions. Earnings25 comprises two complementary test sets: (i) testset-full, 498 hours of full English-language S&P 500 earnings calls from Q4 2025, and (ii) testset-segmented, a 46-hour industry-balanced set of 290 segments sampled from English-language U.S. earnings calls in 2025. The benchmark provides aligned transcripts and structured metadata, including speaker roles, industry labels, and call structure, enabling speaker- and industry-aware evaluation beyond aggregate word error rate (WER). We report reproducible baselines for Whisper and Parakeet-TDT using standardized scoring.
Abstract（参考訳）: Earnings25は、現実的な条件下での英語音声通話における自動音声認識(ASR)を評価するための金融分野のベンチマークである。 Earnings25は2つの相補的なテストセットから構成される。 (i)テストセットフル、498時間の英語S&P500収支報告、2025年第4四半期 (二)2025年の英語の決算会見から採取した46時間の業界バランスのセット290件。このベンチマークは、話者ロール、業界ラベル、コール構造を含む整列された転写文と構造化メタデータを提供し、総語エラー率(WER)を超えて話者と産業を意識した評価を可能にする。標準化スコアを用いたWhisperとParakeet-TDTの再現性ベースラインについて報告する。

関連論文リスト

IGT @ FinMMEval 2026 Task 2: Question-Type Prompting with Targeted Extraction for Multilingual Financial QA [0.0]
PolyFiQA Task 2は、英語のSEC(証券取引委員会)の申請書と多言語ニュース記事に対する多言語対応タスクである。中心的な見解として, 344 の展開課題は, 根本的に異なるアプローチを必要とする 2 つのファミリーに分けられる。データセット分析により、合成タイプごとに19の接地真実参照回答のうち17-18が、正確な証拠ラベルのプレフィックスを共有していることが明らかになった。最終システムは、ROUGE-1の開発を約0.395で達成し、RAGベースラインに対する60%の相対的な改善を実現した。
論文参考訳（メタデータ） (2026-09-08T02:23:31Z)
Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文参考訳（メタデータ） (2026-06-02T07:01:33Z)
Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German [0.34797121357690153]
我々は、4つの言語ペアで5つの商用ASRプロバイダを評価するベンチマークを示す。 We evaluate on WER and BERTScore, showed that both metrics agree on the Ordinal ranking of systems, WER inflats the size of quality gaps。 ElevenLabs Scribe v2は最低のWER(全体の13.2%)を獲得し、BERTScore(全体の0.936)に導かれる。
論文参考訳（メタデータ） (2026-05-18T19:50:44Z)
SLRTP2025 Sign Language Production Challenge: Methodology, Results, and Future Work [87.9341538630949]
第1回手話生産チャレンジはCVPR 2025で第3回SLRTPワークショップの一環として開催された。コンペティションの目的は、音声言語文からスケルトンポーズのシーケンスに変換するアーキテクチャを評価することである。本稿では,挑戦設計と入賞方法について述べる。
論文参考訳（メタデータ） (2025-08-09T11:57:33Z)
ELITR-Bench: A Meeting Assistant Benchmark for Long-Context Language Models [25.74741863885925]
本稿では,現実的な会議支援シナリオに着目した長文LLMのための新しいベンチマークを提案する。当社のベンチマークであるELITR-Benchは、既存のERLITRコーパスを拡張し、271の質問を手作業で行うことで、真真正な回答を与えています。 ELITR-Bench上の12個の長文LLMによる実験により、プロプライエタリモデルとオープンモデルの両方の世代間で進行が確認された。
論文参考訳（メタデータ） (2024-03-29T16:13:31Z)
Perception Test 2023: A Summary of the First Challenge And Outcome [67.0525378209708]
最初のパーセプションテストは、IEEE/CVF International Conference on Computer Vision (ICCV) 2023と共に半日間のワークショップとして開催された。目標は、最近提案されたPerception Testベンチマークで最先端のビデオモデルをベンチマークすることであった。このレポートでは、タスク記述、メトリクス、ベースライン、結果について要約しています。
論文参考訳（メタデータ） (2023-12-20T15:12:27Z)
COSMIC: Data Efficient Instruction-tuning For Speech In-Context Learning [45.282468928830056]
大規模言語モデル(LLM)に音声を統合するコスト効率のよい手法を提案する。教師あり指導のための音声書き起こしから音声テスト質問応答(SQA)ペアを生成する。 3000万以上のトレーニング可能なパラメータで、COSMICは命令追従およびコンテキスト内学習の新たな能力を示す。
論文参考訳（メタデータ） (2023-11-03T21:47:03Z)
KIT's Multilingual Speech Translation System for IWSLT 2023 [58.5152569458259]
IWSLT 2023の多言語トラックに対する音声翻訳システムについて述べる。このタスクは、様々な量のリソースを持つ10の言語に翻訳する必要がある。我々のケースド音声システムは、科学的な話の翻訳において、エンドツーエンドの音声よりも大幅に優れています。
論文参考訳（メタデータ） (2023-06-08T16:13:20Z)
LyricSIM: A novel Dataset and Benchmark for Similarity Detection in Spanish Song LyricS [52.77024349608834]
歌詞中の意味的類似性に合わせた新しいデータセットとベンチマークを提案する。このデータセットはもともと2775組のスペイン語の歌で構成されており、63のネイティブアノテータによる集合アノテーション実験で注釈付けされました。
論文参考訳（メタデータ） (2023-06-02T07:48:20Z)
Earnings-22: A Practical Benchmark for Accents in the Wild [0.8039067099377079]
Earnings-22は125のファイルで、119時間に119回の英語による決算報告を世界企業から集めています。個々の単語誤り率(IWER)を調べることで、重要な音声特徴が特定のアクセントに対して、他のアクセントよりもモデル性能に影響を及ぼすことが分かる。
論文参考訳（メタデータ） (2022-03-29T14:02:57Z)
Learning to Evaluate Translation Beyond English: BLEURT Submissions to the WMT Metrics 2020 Shared Task [30.889496911261677]
本稿では,WMT 2020 Metrics Shared Taskへのコントリビューションについて述べる。我々は、移動学習に基づくメトリクスBLEURTに基づいていくつかの提案を行う。 BLEURTの予測とYiSiの予測を組み合わせ、代替参照変換を用いて性能を向上させる方法を示す。
論文参考訳（メタデータ） (2020-10-08T23:16:26Z)
The NTT DCASE2020 Challenge Task 6 system: Automated Audio Captioning with Keywords and Sentence Length Estimation [49.41766997393417]
本報告では, 音響シーン・イベントの検出・分類に関わるシステムについて述べる。本論文は,音声の自動字幕化における2つの不確定性,すなわち,単語選択不確定性と文長不確定性に焦点をあてる。マルチタスク学習によりキーワードと文長を推定することにより,主字幕生成と部分不確定化を同時に解決する。
論文参考訳（メタデータ） (2020-07-01T04:26:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。