論文の概要: FinMTEB: Finance Massive Text Embedding Benchmark

• arxiv url: http://arxiv.org/abs/2502.10990v1
• Date: Sun, 16 Feb 2025 04:23:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:39.774062
• Title: FinMTEB: Finance Massive Text Embedding Benchmark
• Title（参考訳）: FinMTEB: ベンチマークを組み込んだ巨額のテキスト
• Authors: Yixuan Tang, Yi Yang,
• Abstract要約: 金融分野向けに設計されたMTEBに特化して開発されたFinMTEB(FinMTEB)について紹介する。 FinMTEBは、7つのタスクにまたがる64の金融ドメイン固有の埋め込みデータセットで構成されている。 1)汎用ベンチマークのパフォーマンスは,金融ドメインタスクとの相関が限定されていること,(2)ドメイン適応モデルの方が汎用タスクより一貫して優れていること,(3)意外なことに,単純なBag-of-Words(BoW)アプローチは,金融セマンティックテクスチャ類似タスクにおける洗練された埋め込みよりも優れていること,の3点を示す。
• 参考スコア（独自算出の注目度）: 18.990655668481075
• License:
• Abstract: Embedding models play a crucial role in representing and retrieving information across various NLP applications. Recent advances in large language models (LLMs) have further enhanced the performance of embedding models. While these models are often benchmarked on general-purpose datasets, real-world applications demand domain-specific evaluation. In this work, we introduce the Finance Massive Text Embedding Benchmark (FinMTEB), a specialized counterpart to MTEB designed for the financial domain. FinMTEB comprises 64 financial domain-specific embedding datasets across 7 tasks that cover diverse textual types in both Chinese and English, such as financial news articles, corporate annual reports, ESG reports, regulatory filings, and earnings call transcripts. We also develop a finance-adapted model, FinPersona-E5, using a persona-based data synthetic method to cover diverse financial embedding tasks for training. Through extensive evaluation of 15 embedding models, including FinPersona-E5, we show three key findings: (1) performance on general-purpose benchmarks shows limited correlation with financial domain tasks; (2) domain-adapted models consistently outperform their general-purpose counterparts; and (3) surprisingly, a simple Bag-of-Words (BoW) approach outperforms sophisticated dense embeddings in financial Semantic Textual Similarity (STS) tasks, underscoring current limitations in dense embedding techniques. Our work establishes a robust evaluation framework for financial NLP applications and provides crucial insights for developing domain-specific embedding models.
• Abstract（参考訳）: 埋め込みモデルは、様々なNLPアプリケーションにまたがる情報の表現と検索において重要な役割を果たす。 大規模言語モデル(LLM)の最近の進歩は、埋め込みモデルの性能をさらに向上させた。 これらのモデルは汎用データセットでベンチマークされることが多いが、現実のアプリケーションはドメイン固有の評価を必要とする。 本稿では、金融分野向けに設計されたMTEBに特化して開発されたFinMTEB(FinMTEB)について紹介する。 FinMTEBは、金融ニュース記事、企業年次報告書、ESGレポート、規制書類、決算報告書など、中国語と英語の両方のさまざまなテキストタイプをカバーする7つのタスクにまたがる、64の金融ドメイン固有の埋め込みデータセットで構成されている。 また,金融適応型モデルFinPersona-E5を開発した。 FinPersona-E5を含む15の埋め込みモデルの広範囲な評価を通じて、1)汎用ベンチマークのパフォーマンスは、金融ドメインタスクとの相関が限定されていること、(2)ドメイン適応モデルが一貫して汎用タスクよりも優れていること、(3)意外なことに、単純なBag-of-Words(BoW)アプローチは、金融セマンティックテキスト類似性(STS)タスクにおける洗練された埋め込みよりも優れていること、そして、密埋め込み技術における現在の制限を裏付けていること、の3つの重要な結果を示す。 我々の研究は、金融NLPアプリケーションのための堅牢な評価フレームワークを確立し、ドメイン固有の埋め込みモデルを開発する上で重要な洞察を提供する。

関連論文リスト

• Do We Need Domain-Specific Embedding Models? An Empirical Investigation [18.990655668481075]
  FinMTEB(Massive Text Embedding Benchmark)の略であるFinMTEB(Massive Text Embedding Benchmark)を紹介する。 我々は、FinMTEB上での7つの最先端埋め込みモデルの性能評価を行い、MTEB上でのパフォーマンスと比較して顕著な性能低下を観測した。 我々の分析は、最先端の埋め込みモデルがドメイン固有の言語的および意味的なパターンを捉えるのに苦労しているという説得力のある証拠を提供する。
  論文  参考訳（メタデータ） (2024-09-27T07:46:06Z)
• Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications [90.67346776473241]
  大規模言語モデル(LLM)は高度な金融アプリケーションを持っているが、十分な財務知識がなく、テーブルや時系列データといったマルチモーダル入力に関わるタスクに苦労することが多い。 我々は、総合的な財務知識をテキスト、テーブル、時系列データに組み込む一連の金融LLMであるtextitOpen-FinLLMsを紹介する。 また、複雑な財務データ型を扱うために、1.43Mの画像テキスト命令で訓練されたマルチモーダルLLMであるFinLLaVAについても紹介する。
  論文  参考訳（メタデータ） (2024-08-20T16:15:28Z)
• SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models [6.639972934967109]
  大規模言語モデル (LLM) は、金融業界において自然言語処理を推進するための強力なツールとなっている。 SNFinLLMという中国の金融ドメイン向けに設計された新しい大規模言語モデルを提案する。 SNFinLLMは、質問への回答、財務調査レポートの要約、感情の分析、財務計算の実行など、ドメイン固有のタスクに優れています。
  論文  参考訳（メタデータ） (2024-08-05T08:24:24Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning [74.99318727786337]
  金融大規模言語モデル(LLM)を構築するための多言語エキスパートファインチューニングフレームワークを提案する。 DISC-FIN-SFTという金融インストラクションチューニングデータセットを構築し、4つのカテゴリ(コンサルト、NLPタスク、コンピューティング、検索強化ジェネレーション)のインストラクションサンプルを含む。 複数のベンチマークで評価した結果, 様々な財務シナリオにおいて, ベースラインモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-23T11:33:41Z)
• FinGPT: Instruction Tuning Benchmark for Open-Source Large Language Models in Financial Datasets [9.714447724811842]
  本稿では,オープンソースの大規模言語モデルに対して,インストラクションチューニングパラダイムに固有のアプローチを導入する。 私たちは、オープンソースのモデルの相互運用性に乗じて、シームレスで透過的な統合を確保します。 本稿では,エンドツーエンドのトレーニングとテストのためのベンチマーク手法を提案し,費用対効果を生かした。
  論文  参考訳（メタデータ） (2023-10-07T12:52:58Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)
• Are ChatGPT and GPT-4 General-Purpose Solvers for Financial Text Analytics? A Study on Several Typical Tasks [36.84636748560657]
  ChatGPTやGPT-4のような大規模言語モデルは、ジェネラリストモデルの例外的な能力を示している。 このようなモデルは金融分野でどの程度有効か?
  論文  参考訳（メタデータ） (2023-05-10T03:13:54Z)
• WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model for Financial Domain [42.093876880881886]
  ドメイン固有型金融LANGuageモデル(FLANG)を提案する。 ファイナンシャルキーワードとフレーズを使用して、スパン境界目的とインフィリング目的ととともに、マスキングを改善する。 私たちのモデル、コード、ベンチマークデータはGithubとHuggingfaceで公開されています。
  論文  参考訳（メタデータ） (2022-10-31T18:35:18Z)
• FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
  我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。 我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。 その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
  論文  参考訳（メタデータ） (2021-09-01T00:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。