論文の概要: JFinTEB: Japanese Financial Text Embedding Benchmark

• arxiv url: http://arxiv.org/abs/2604.15882v1
• Date: Fri, 17 Apr 2026 09:30:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.862808
• Title: JFinTEB: Japanese Financial Text Embedding Benchmark
• Title（参考訳）: JFinTEB:日本の金融テキストベンチマーク
• Abstract要約: JFinTEBは,日本語のファイナンシャルテキストの埋め込み評価に特化して設計された,初めての総合的なベンチマークである。 本ベンチマークでは,現実的かつ明確に定義された財務テキスト処理シナリオを反映した検索タスクや分類タスクを含む多様なタスクカテゴリを網羅する。 本研究は、日本の金融テキスト処理資源における重要なギャップに対処し、ドメイン固有の埋め込み研究を進めるための基盤を確立する。
• 参考スコア（独自算出の注目度）: 2.927100480681472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce JFinTEB, the first comprehensive benchmark specifically designed for evaluating Japanese financial text embeddings. Existing embedding benchmarks provide limited coverage of language-specific and domain-specific aspects found in Japanese financial texts. Our benchmark encompasses diverse task categories including retrieval and classification tasks that reflect realistic and well-defined financial text processing scenarios. The retrieval tasks leverage instruction-following datasets and financial text generation queries, while classification tasks cover sentiment analysis, document categorization, and domain-specific classification challenges derived from economic survey data. We conduct extensive evaluations across a wide range of embedding models, including Japanese-specific models of various sizes, multilingual models, and commercial embedding services. We publicly release JFinTEB datasets and evaluation framework at https://github.com/retarfi/JFinTEB to facilitate future research and provide a standardized evaluation protocol for the Japanese financial text mining community. This work addresses a critical gap in Japanese financial text processing resources and establishes a foundation for advancing domain-specific embedding research.
• Abstract（参考訳）: JFinTEBは,日本語のファイナンシャルテキストの埋め込み評価に特化して設計された,初めての総合的なベンチマークである。 既存の埋め込みベンチマークは、日本語の財務文書に見られる言語固有の側面とドメイン固有の側面を限定的にカバーしている。 本ベンチマークでは,現実的かつ明確に定義された財務テキスト処理シナリオを反映した検索タスクや分類タスクを含む多様なタスクカテゴリを網羅する。 検索タスクは、インストラクション追跡データセットと財務テキスト生成クエリを活用し、分類タスクは、感情分析、文書分類、経済調査データから派生したドメイン固有の分類課題をカバーする。 様々なサイズの日本語特化モデル,多言語モデル,商用埋め込みサービスなど,幅広い埋め込みモデルに対して広範な評価を行う。 我々はJFinTEBデータセットと評価フレームワークをhttps://github.com/retarfi/JFinTEBで公開し、今後の研究を促進するとともに、日本の金融テキストマイニングコミュニティのための標準化された評価プロトコルを提供する。 本研究は、日本の金融テキスト処理資源における重要なギャップに対処し、ドメイン固有の埋め込み研究を進めるための基盤を確立する。

関連論文リスト

• CDTP: A Large-Scale Chinese Data-Text Pair Dataset for Comprehensive Evaluation of Chinese LLMs [71.01843542502438]
  我々は,中国語大言語モデル(CB-ECLLM)を評価するための総合的ベンチマークを提案する。 CB-ECLLMは、新たに構築された中国データテキストペア(CDTP)データセットに基づいている。 CDTPは700万以上のテキストペアで構成されており、それぞれが1つ以上の対応する3重テキストと、4つの重要なドメインにまたがる合計1500万の3重テキストで構成されている。
  論文  参考訳（メタデータ） (2025-10-07T15:33:52Z)
• FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
  FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。 このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。 我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-07T22:15:22Z)
• MultiFinBen: Benchmarking Large Language Models for Multilingual and Multimodal Financial Application [118.63802040274999]
  MultiFinBen は、現実的な財務状況下で LLM を評価するための、最初のエキスパートアノテーション付き多言語(5言語)およびマルチモーダルベンチマークである。 財務理由付けテストは、書類やニュースと統合された言語間のエビデンスと、スキャンされた文書から構造化されたテキストを抽出する財務OCRである。 21個のLLMを評価したところ、GPT-4oのようなフロンティアのマルチモーダルモデルでさえ、視力とオーディオが強く、多言語設定では急激に低下するが、全体の46.01%しか達成していないことが示されている。
  論文  参考訳（メタデータ） (2025-06-16T22:01:49Z)
• FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation [65.04104723843264]
  ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。 FinDERは、ドメインの専門家による検索関連証拠の注釈付けに重点を置いており、5,703のクエリ・エビデンス・アンサー・トリプルを提供している。 大きなコーパスから関連する情報を取得するためにモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。
  論文  参考訳（メタデータ） (2025-04-22T11:30:13Z)
• FinMTEB: Finance Massive Text Embedding Benchmark [12.949322198287417]
  金融分野向けに設計されたMTEBに特化して開発されたFinMTEB(FinMTEB)について紹介する。 FinMTEBは、7つのタスクにまたがる64の金融ドメイン固有の埋め込みデータセットで構成されている。 1)汎用ベンチマークのパフォーマンスは,金融ドメインタスクとの相関が限定されていること,(2)ドメイン適応モデルの方が汎用タスクより一貫して優れていること,(3)意外なことに,単純なBag-of-Wordsアプローチは,金融セマンティックテクスチャ類似タスクにおける高度に密着した埋め込みよりも優れていること,の3つの重要な結果を示す。
  論文  参考訳（メタデータ） (2025-02-16T04:23:52Z)
• DOLFIN -- Document-Level Financial test set for Machine Translation [5.277262433756837]
  文書レベル機械翻訳(MT)専用のテストセットを提案する。 データセットは、専門の財務文書から構築される。 テストセットは5つの言語ペアに対する1950年の平均的なアライメントセクションで構成されている。
  論文  参考訳（メタデータ） (2025-02-05T10:30:40Z)
• Economy Watchers Survey Provides Datasets and Tasks for Japanese Financial Domain [5.9001403107681405]
  英語と一般ドメインでの自然言語処理タスクは広く利用可能である。 しかし、英語以外の言語や金融分野でのタスクは少ない。 本研究では,日本中央庁が公表したデータを用いて,大規模データセットを2つ作成する。
  論文  参考訳（メタデータ） (2024-07-20T02:35:14Z)
• DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning [74.99318727786337]
  金融大規模言語モデル(LLM)を構築するための多言語エキスパートファインチューニングフレームワークを提案する。 DISC-FIN-SFTという金融インストラクションチューニングデータセットを構築し、4つのカテゴリ(コンサルト、NLPタスク、コンピューティング、検索強化ジェネレーション)のインストラクションサンプルを含む。 複数のベンチマークで評価した結果, 様々な財務シナリオにおいて, ベースラインモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-23T11:33:41Z)
• Chinese Fine-Grained Financial Sentiment Analysis with Large Language Models [4.993565079216378]
  そこで我々は,企業早期警戒のための,中国の財務感情分析データセットFinChina SAを提案する。 われわれのデータセットは、現実の財務感情分析タスクの探索を進めるための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2023-06-25T02:24:30Z)
• WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model for Financial Domain [42.093876880881886]
  ドメイン固有型金融LANGuageモデル(FLANG)を提案する。 ファイナンシャルキーワードとフレーズを使用して、スパン境界目的とインフィリング目的ととともに、マスキングを改善する。 私たちのモデル、コード、ベンチマークデータはGithubとHuggingfaceで公開されています。
  論文  参考訳（メタデータ） (2022-10-31T18:35:18Z)
• FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
  本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。 このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
  論文  参考訳（メタデータ） (2022-10-01T05:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。