論文の概要: FinBERT-QA: Financial Question Answering with pre-trained BERT Language Models

• arxiv url: http://arxiv.org/abs/2505.00725v1
• Date: Thu, 24 Apr 2025 15:25:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-11 11:26:45.170092
• Title: FinBERT-QA: Financial Question Answering with pre-trained BERT Language Models
• Title（参考訳）: FinBERT-QA:事前学習したBERT言語モデルによる財務質問応答
• Authors: Bithiah Yuan,
• Abstract要約: 本稿では,変圧器を用いた事前学習型BERT言語モデルを用いた新たな財務QAシステムを提案する。 本システムでは,パスレベルテキストの集合を検索し,最も関連性の高い回答を選択する財務的非ファクトイド回答選択に焦点をあてる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivated by the emerging demand in the financial industry for the automatic analysis of unstructured and structured data at scale, Question Answering (QA) systems can provide lucrative and competitive advantages to companies by facilitating the decision making of financial advisers. Consequently, we propose a novel financial QA system using the transformer-based pre-trained BERT language model to address the limitations of data scarcity and language specificity in the financial domain. Our system focuses on financial non-factoid answer selection, which retrieves a set of passage-level texts and selects the most relevant as the answer. To increase efficiency, we formulate the answer selection task as a re-ranking problem, in which our system consists of an Answer Retriever using BM25, a simple information retrieval approach, to first return a list of candidate answers, and an Answer Re-ranker built with variants of pre-trained BERT language models to re-rank and select the most relevant answers. We investigate various learning, further pre-training, and fine-tuning approaches for BERT. Our experiments suggest that FinBERT-QA, a model built from applying the Transfer and Adapt further fine-tuning and pointwise learning approach, is the most effective, improving the state-of-the-art results of task 2 of the FiQA dataset by 16% on MRR, 17% on NDCG, and 21% on Precision@1.
• Abstract（参考訳）: 金融業界における非構造的・構造的データの自動分析への需要の高まりにより、QAシステムは、金融アドバイザーの意思決定を円滑に進めることで、企業に対して利益と競争上の優位性を提供することができる。 そこで本研究では,データ不足や財務分野における言語特異性の限界に対処するため,トランスフォーマーベースで事前学習したBERT言語モデルを用いた新たな財務QAシステムを提案する。 本システムでは,パスレベルテキストの集合を検索し,最も関連性の高い回答を選択する財務的非ファクトイド回答選択に焦点をあてる。 効率を向上させるため,本システムでは,BM25を用いた解答レトリバー(Answer Retriever)と簡易な情報検索手法(Answer Re-ranker)と,事前学習したBERT言語モデルの変種で構築された解答の再ランクと選択を行うAnswer Re-rankerからなる再ランク問題として解答選択タスクを定式化する。 BERTの様々な学習,事前学習,微調整のアプローチについて検討する。 実験の結果,FinBERT-QA(Transfer and Adapt)を用いたモデルが最も効果的であることが示唆され,MRRでは16%,NDCGでは17%,Precision@1では21%,FiQAデータセットのタスク2の最先端結果が改善された。

関連論文リスト

• FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation [63.55583665003167]
  ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。 FinDERは、ドメインの専門家による検索関連証拠の注釈付けに重点を置いており、5,703のクエリ・エビデンス・アンサー・トリプルを提供している。 大きなコーパスから関連する情報を取得するためにモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。
  論文  参考訳（メタデータ） (2025-04-22T11:30:13Z)
• Knowledge Retrieval Based on Generative AI [4.9328530417790954]
  本研究は,中国語ウィキペディアとLawbankを検索源として用いたRAG(Retrieval-Augmented Generation)に基づく質問応答システムを開発した。 このシステムは,BGE-M3を用いて高関係な検索結果を検索し,BGE-rerankerを用いてクエリの関連性に基づいてそれらの検索結果を並べ替える。
  論文  参考訳（メタデータ） (2025-01-08T17:29:46Z)
• FinTextQA: A Dataset for Long-form Financial Question Answering [10.1084081290893]
  FinTextQAは金融における長文質問応答(LFQA)のための新しいデータセットである。 我々のデータセット上で最も効果的なシステム構成は、組込み器、レトリバー、リランカー、ジェネレータをAda2、Automated Merged Retrieval、Bge-Reranker-Base、Baichuan2-7Bとして設定することであった。
  論文  参考訳（メタデータ） (2024-05-16T10:53:31Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• GPT-3 Models are Few-Shot Financial Reasoners [1.0742675209112622]
  金融分野において、事前訓練された言語モデルがどの程度理にかなっているかは分かっていない。 我々は、GPT-3でいくつかの実験を行い、別個の検索モデルと論理エンジンが重要なコンポーネントであり続けていることを発見した。 これにより, GPT-3 に対する改良されたプロンプトエンジニアリング手法は, 微調整を伴わずにSOTA 付近の精度を達成できる。
  論文  参考訳（メタデータ） (2023-07-25T16:21:07Z)
• A Novel DeBERTa-based Model for Financial Question Answering Task [9.083539882647928]
  本研究は主に財務数値推論データセットであるFinQAに焦点を当てている。 共有タスクでは、所定の財務報告に従って、推論プログラムと最終回答を生成することが目的である。 実行精度は68.99で、プログラム精度は64.53で、2022年のFinQAチャレンジで4位となった。
  論文  参考訳（メタデータ） (2022-07-12T22:34:39Z)
• FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
  我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。 我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。 その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
  論文  参考訳（メタデータ） (2021-09-01T00:08:14Z)
• TAT-QA: A Question Answering Benchmark on a Hybrid of Tabular and Textual Content in Finance [71.76018597965378]
  TAT-QAと呼ばれるタブラデータとテクスチャデータの両方を含む新しい大規模な質問応答データセットを構築します。 本稿では,テーブルとテキストの両方を推論可能な新しいQAモデルであるTAGOPを提案する。
  論文  参考訳（メタデータ） (2021-05-17T06:12:06Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。