論文の概要: From Documents to Reasoning: A Validated Synthetic Data Pipeline and Semantic-Aware Fine-Tuning for Financial Numerical Reasoning

• arxiv url: http://arxiv.org/abs/2608.27919v1
• Date: Fri, 28 Aug 2026 04:50:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.206804
• Title: From Documents to Reasoning: A Validated Synthetic Data Pipeline and Semantic-Aware Fine-Tuning for Financial Numerical Reasoning
• Title（参考訳）: 文書から推論へ:財務数値推論のための合成データパイプラインと意味認識ファインチューニングの検証
• Abstract要約: 大規模言語モデル(LLM)の性能評価のための重要なベンチマークとして、金融質問応答(QA)が登場した。 我々は、量子化低ランク適応(QLoRA)を用いて、高品質な合成データ生成とより小さな言語モデル(SLM)の微調整により、金融QAシステムを改善するための包括的なパイプラインを提案する。 そこで本研究では,モデル推論能力のより正確なリフレクションを提供するため,演算式から計算した解に一致した新しい評価指標を提案する。
• 参考スコア（独自算出の注目度）: 3.433730225403497
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Financial question answering (QA) has emerged as a key benchmark for evaluating the performance of Large Language Models (LLMs) on domain-specific tasks involving complex data formats such as tables, charts, and rich textual narratives. While recent advancements have enabled models to reason across modalities and perform multi-step arithmetic operations, limitations remain in performance consistency, and evaluation reliability. In particular, standard evaluation metrics like Exact Match (EM) often fail to account for minor variations such as differences in units or formats, misleading performance assessments. In this work, we propose a comprehensive pipeline for improving financial QA systems through high-quality synthetic data generation and fine-tuning of smaller language models (SLMs) using Quantized Low-Rank Adaptation (QLoRA). Our pipeline includes aggressive data validation for synthetic question answer generation to ensure the relevance and correctness of synthetic question-answer pairs. We introduce a novel evaluation metric that matches answers computed from arithmetic expressions rather than ground-truth answers; providing a more accurate reflection of model reasoning capability. Furthermore, we propose a modified loss function that aligns predicted and reference expressions using semantic similarity, our novel evaluation metric and standard cross-entropy, resulting in improved performance. Experimental results on benchmark datasets, ConvFinQA demonstrate significant gains in QA accuracy after fine-tuning using synthetic dataset and proposed loss function.
• Abstract（参考訳）: QA(Financial Question answering)は、テーブルやチャート、リッチテキストの物語といった複雑なデータ形式を含むドメイン固有のタスクにおいて、LLM(Large Language Models)のパフォーマンスを評価するための重要なベンチマークとして登場した。 近年の進歩により、モデルはモダリティを越えて推論し、マルチステップの算術演算を実行できるようになったが、性能の整合性や評価の信頼性には限界が残っている。 特に、Exact Match(EM)のような標準的な評価指標は、単位やフォーマットの違いやパフォーマンス評価の誤解など、小さなバリエーションを考慮できないことが多い。 本研究では、高品質な合成データ生成と、量子化低ランク適応(QLoRA)を用いたより小さな言語モデル(SLM)の微調整により、金融QAシステムを改善するための包括的なパイプラインを提案する。 我々のパイプラインには、合成質問応答生成のための積極的なデータ検証が含まれており、合成質問応答対の妥当性と正確性を保証する。 そこで本研究では,モデル推論能力のより正確なリフレクションを提供するため,演算式から計算した解に一致した新しい評価指標を提案する。 さらに,予測と参照表現をセマンティックな類似性,新しい評価基準,標準のクロスエントロピーを用いて調整し,性能を向上する改良された損失関数を提案する。 ベンチマークデータセットの実験結果から,合成データセットを用いた微調整と損失関数の提案により,QAの精度が大幅に向上した。

関連論文リスト

• Should I Use This Synthetic Dataset for Training? How to Test with Minimal Real Data [73.19814469893088]
  デジタルツインと学習された世界モデルは、エンジニアリングシステムにおける人工知能(AI)モデルのトレーニングに利用可能な、少ない実際のデータセットを増大させる合成データを生成するために、ますます使われています。 本稿では,拡張データセットのトレーニングが真の,人口レベルのパフォーマンスを向上する一方で,実際のテストデータポイントを可能な限り少なく消費するかどうかを論じる。 合成データ分類タスク、DT支援無線パケットスケジューリングタスク、および無線マップ予測タスクにおいて、aeSFTは平均ベースのシーケンシャルテストよりもはるかに少ない実検サンプルを用いて有用な合成データを識別することを示す。
  論文  参考訳（メタデータ） (2026-08-28T07:05:38Z)
• Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
  条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。 本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。 本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
  論文  参考訳（メタデータ） (2026-05-29T03:52:44Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• SynClaimEval: A Framework for Evaluating the Utility of Synthetic Data in Long-Context Claim Verification [1.740313383876245]
  長文クレーム検証における合成データの有用性を評価するためのフレームワークであるSynClaimEvalを紹介する。 本フレームワークでは,文脈長の変化による入力特性,ドメイン外ベンチマークへの一般化テスト,クレームの複雑性とエラータイプの変化を制御した合成ロジック,モデル説明が予測に合致する証拠を提供する度合いを計測した説明品質の3つの次元について検討する。
  論文  参考訳（メタデータ） (2025-11-12T18:36:59Z)
• Autoformalizer with Tool Feedback [52.334957386319864]
  自動形式化は、数学的問題を自然言語から形式的ステートメントに変換することによって、ATP(Automated Theorem Proving)のデータ不足に対処する。 既存のフォーミュラライザは、構文的妥当性とセマンティック一貫性を満たす有効なステートメントを一貫して生成することに苦慮している。 本稿では,ツールフィードバックを用いたオートフォーマライザ (ATF) を提案する。
  論文  参考訳（メタデータ） (2025-10-08T10:25:12Z)
• Valid Inference with Imperfect Synthetic Data [39.10587411316875]
  モーメントの一般化法に基づく新しい推定器を提案する。 合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2025-08-08T18:32:52Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Classification-based Quality Estimation: Small and Efficient Models for Real-world Applications [29.380675447523817]
  機械翻訳の文レベル品質評価(QE)は、伝統的に回帰タスクとして定式化されている。 近年のQEモデルでは, 人的判断と既往の相関が達成されている。 我々はQEのモデル圧縮技術を評価し、他のNLPタスクで人気があるにもかかわらず、この回帰環境では性能が劣っていることを発見した。
  論文  参考訳（メタデータ） (2021-09-17T16:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。