論文の概要: Synthetic Data-Driven Prompt Tuning for Financial QA over Tables and Documents
- arxiv url: http://arxiv.org/abs/2511.06292v2
- Date: Fri, 14 Nov 2025 05:38:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-17 14:38:01.781572
- Title: Synthetic Data-Driven Prompt Tuning for Financial QA over Tables and Documents
- Title(参考訳): 表と文書による財務QAのための合成データ駆動型プロンプトチューニング
- Authors: Yaoning Yu, Kai-Min Chang, Ye Yu, Kai Wei, Haojing Luo, Haohan Wang,
- Abstract要約: データ拡張最適化によって駆動される自己改善プロンプトフレームワークを導入する。
我々は、合成財務表と文書の抜粋を生成し、それらの正確性と堅牢性を検証し、結果に基づいてプロンプトを更新する。
我々は通常のプロンプト法よりも精度と堅牢性の両方で高い性能を達成する。
- 参考スコア(独自算出の注目度): 21.737958911422805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Financial documents like earning reports or balance sheets often involve long tables and multi-page reports. Large language models have become a new tool to help numerical reasoning and understanding these documents. However, prompt quality can have a major effect on how well LLMs perform these financial reasoning tasks. Most current methods tune prompts on fixed datasets of financial text or tabular data, which limits their ability to adapt to new question types or document structures, or they involve costly and manually labeled/curated dataset to help build the prompts. We introduce a self-improving prompt framework driven by data-augmented optimization. In this closed-loop process, we generate synthetic financial tables and document excerpts, verify their correctness and robustness, and then update the prompt based on the results. Specifically, our framework combines a synthetic data generator with verifiers and a prompt optimizer, where the generator produces new examples that exposes weaknesses in the current prompt, the verifiers check the validity and robustness of the produced examples, and the optimizer incrementally refines the prompt in response. By iterating these steps in a feedback cycle, our method steadily improves prompt accuracy on financial reasoning tasks without needing external labels. Evaluation on DocMath-Eval benchmark demonstrates that our system achieves higher performance in both accuracy and robustness than standard prompt methods, underscoring the value of incorporating synthetic data generation into prompt learning for financial applications.
- Abstract(参考訳): レポートの取得やバランスシートなどの財務文書には、長い表や複数ページのレポートが含まれることが多い。
大規模言語モデルは、これらの文書の数値的推論と理解を支援する新しいツールとなっている。
しかし、迅速な品質は、LLMがこれらの金銭的推論タスクをいかにうまく実行するかに大きな影響を及ぼす可能性がある。
現在のほとんどのメソッドは、金融テキストや表形式のデータの固定されたデータセットにプロンプトをチューニングし、新しい質問タイプやドキュメント構造に適応する能力を制限する。
データ拡張最適化によって駆動される自己改善プロンプトフレームワークを導入する。
このクローズドループプロセスでは、合成財務表と文書の抜粋を生成し、それらの正しさとロバスト性を検証し、結果に基づいてプロンプトを更新する。
具体的には、合成データ生成装置に検証器とプロンプトオプティマイザを組み合わせて、生成装置は現在のプロンプトの弱点を明らかにする新しい例を生成し、検証装置は生成された例の有効性とロバスト性を確認し、オプティマイザは応答のプロンプトを漸進的に洗練する。
フィードバックサイクルでこれらのステップを繰り返すことで、外部ラベルを必要とせずに、財務推論タスクの迅速な精度を着実に向上する。
DocMath-Evalベンチマークによる評価により,本システムは標準的なプロンプト手法よりも精度とロバスト性の両方で高い性能を達成し,ファイナンシャルアプリケーションのための迅速な学習に合成データ生成を組み込むことの価値を強調した。
関連論文リスト
- Metadata-Driven Retrieval-Augmented Generation for Financial Question Answering [0.0]
文脈的にリッチなドキュメントチャンクを作成するための高度なインデックスパイプラインを導入します。
我々は、検索前フィルタリング、検索後再ランク付け、エンリッチな埋め込みなど、さまざまな拡張のスペクトルをベンチマークする。
提案する最適アーキテクチャは、LLM駆動の事前検索最適化とコンテキスト埋め込みを組み合わせることで、優れた性能を実現する。
論文 参考訳(メタデータ) (2025-10-28T13:16:36Z) - FinSight: Towards Real-World Financial Deep Research [68.31086471310773]
FinSightは、高品質でマルチモーダルな財務報告を作成するための新しいフレームワークである。
プロフェッショナルグレードの可視化を確保するため,反復視覚強調機構を提案する。
2段階のBinging Frameworkは、簡潔な分析セグメントをコヒーレント、引用認識、マルチモーダルレポートに拡張する。
論文 参考訳(メタデータ) (2025-10-19T14:05:35Z) - Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
文書理解は、財務分析から科学的発見への応用に不可欠である。
現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。
Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
論文 参考訳(メタデータ) (2025-10-17T02:33:16Z) - FinLFQA: Evaluating Attributed Text Generation of LLMs in Financial Long-Form Question Answering [57.43420753842626]
FinLFQAは、複雑な財務問題に対する長文の回答を生成するための大規模言語モデルの能力を評価するために設計されたベンチマークである。
回答品質と属性品質の両方をカバーする自動評価フレームワークを提供する。
論文 参考訳(メタデータ) (2025-10-07T20:06:15Z) - LLM-Symbolic Integration for Robust Temporal Tabular Reasoning [69.27153114778748]
本研究では,システムおよび制御された評価のための合成データセットであるTempTabQA-Cを紹介する。
この構造化アプローチにより、LLM(Large Language Models)はsqlクエリの生成と実行を可能にし、一般化とバイアス軽減の強化を行う。
論文 参考訳(メタデータ) (2025-06-06T05:14:04Z) - Structuring the Unstructured: A Multi-Agent System for Extracting and Querying Financial KPIs and Guidance [54.25184684077833]
構造化されていない財務文書から定量的な洞察を抽出する,効率的でスケーラブルな手法を提案する。
提案システムは,emphExtraction AgentとemphText-to-Agentの2つの特殊エージェントから構成される。
論文 参考訳(メタデータ) (2025-05-25T15:45:46Z) - An Efficient Deep Learning-Based Approach to Automating Invoice Document Validation [0.0]
本稿では,文書レイアウト解析とオブジェクト検出技術を用いて,機械による請求書の検証を自動化することを提案する。
本稿では,手動で注釈付き実世界の請求書と複数基準検証プロセスからなる新しいデータセットを提案する。
論文 参考訳(メタデータ) (2025-03-15T21:33:00Z) - Quantifying Qualitative Insights: Leveraging LLMs to Market Predict [0.0]
本研究は、証券会社からの日々の報告を活用して高品質な文脈情報を作成することによる課題に対処する。
レポートはテキストベースのキーファクタにセグメント化され、価格情報などの数値データと組み合わせてコンテキストセットを形成する。
工芸的なプロンプトは重要な要素にスコアを割り当て、質的な洞察を定量的な結果に変換するように設計されている。
論文 参考訳(メタデータ) (2024-11-13T07:45:40Z) - SEC-QA: A Systematic Evaluation Corpus for Financial QA [12.279234447220155]
既存のデータセットは、多くの場合、サイズ、コンテキスト、実用的なアプリケーションとの関連性によって制約される。
2つの重要な特徴を持つ継続的データセット生成フレームワークであるSEC-QAを提案する。
本稿では,複雑な情報検索と定量的推論パイプラインの実行能力を向上させるプログラム・オブ・思想に基づくQAシステムを提案する。
論文 参考訳(メタデータ) (2024-06-20T15:12:41Z) - Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。
実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
論文 参考訳(メタデータ) (2024-06-05T20:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。