論文の概要: FinBalance: A Multi-Document Accounting Reconciliation Benchmark
- arxiv url: http://arxiv.org/abs/2606.15949v1
- Date: Sun, 14 Jun 2026 18:09:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.955054
- Title: FinBalance: A Multi-Document Accounting Reconciliation Benchmark
- Title（参考訳）: FinBalance: 和解ベンチマークによるマルチドキュメント会計
- Abstract要約: FinBalanceは、8つの業界にまたがるソースドキュメントバンドルから構築されたマルチドキュメント会計調整ベンチマークである。
ヒューマンオーサリングされたビジネスシナリオ、会計ポリシー、税金/FX処理、ドキュメントスキーマ、イントラクタ、一貫性のないテンプレートは、決定論的ジェネレータによって構成されます。
710レコードの評価分割では、6つの現代のLCMが最大で46%の精度で最終バランスシートに到達した。
- 参考スコア（独自算出の注目度）: 8.847249672723981
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing financial-NLP benchmarks mostly evaluate prepared artifacts such as filings, tables, or extracted values. Real accounting begins earlier: source documents must be reconciled into cited journal entries, aggregated into a balance sheet, and checked for contradictions. We introduce FinBalance, a multi-document accounting reconciliation benchmark built from source-document bundles across eight industries, three period types, and five difficulty levels. Human-authored business scenarios, accounting policies, tax/FX treatments, document schemas, distractors, and inconsistency templates are composed by a deterministic generator whose ledger produces journal entries,balance sheets, and 23 inconsistency-code labels. On a 710-record evaluation split, six contemporary LLMs reach at most 46% exact final-balance-sheet accuracy. Four models show a 26-41 pp gap between BS_exact, the model's reported balance sheet, and BS_recon, the balance sheet obtained by replaying its entries through our ledger. Models often recover numerically plausible entries but fail to bind them to supporting documents and aggregate them consistently. Citation-pressure prompting barely changes document-linking errors, while ledger-feedback ablations substantially improve reported balance sheets and expose inconsistency-detection trade-offs. Expert finance reviewers validate the benchmark design and labels.
- Abstract（参考訳）: 既存の金融NLPベンチマークは、主にファイリング、テーブル、抽出された値などの準備済みのアーティファクトを評価する。
資料は引用された論文にまとめられ、バランスシートに集約され、矛盾を確認する必要がある。
FinBalanceは,8つの産業,3つの期間タイプ,5つの困難レベルにまたがるソースドキュメントバンドルから構築したマルチドキュメント会計調整ベンチマークである。
人為的なビジネスシナリオ、会計方針、税/FX処理、文書スキーマ、イントラクタ、一貫性のないテンプレートは、台帳がジャーナルエントリ、バランスシート、23の一貫性のないコードラベルを生成する決定論的ジェネレータによって構成される。
710レコードの評価分割では、6つの現代のLCMが最大で46%の精度で最終バランスシートに到達した。
4つのモデルでは,BS_exactとBS_reconの差が26-41ppであった。
モデルはしばしば数値的に妥当なエントリを復元するが、それらをドキュメントに結び付けることができず、一貫して集約する。
サイテーション・プレッシャはドキュメントリンクエラーをほとんど変更せず、台帳・フィードバックの短縮は報告されたバランスシートを大幅に改善し、矛盾検出のトレードオフを露呈する。
エキスパートファイナンスレビュアーは、ベンチマークの設計とラベルを検証する。
関連論文リスト
- Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation [0.0]
ベンチマークスコアは、モデルのジョイント特性、評価ハーネス、エレケーション予算、サンプル集団、汚染状態である。
我々は,各タイプの敗北の緩和によって組織された分類を紹介した。
2つの変数は、予め登録された有病率-ロバスト閾値を下回る。
論文 参考訳（メタデータ） (2026-08-29T23:04:09Z) - LAVA: Logic-Aware Validation and Augmentation Framework for Large-Scale Financial Document Auditing [8.198653897327864]
LAVAはモジュール化されたバックボーンに依存しないパイプラインで、マルチモーダルな言語モデル上に構築されている。
ドキュメントルール検索、レイアウト保存情報抽出、補助メタデータの強化、監査可能なシンボル/パラメータ検証を統合している。
堅牢なルールグラウンディング、きめ細かいエラー属性、一貫性のあるトレース可能なエンドツーエンド実行機能をサポートする。
論文 参考訳（メタデータ） (2026-08-17T16:10:05Z) - Document-Level Numerical Reasoning across Single and Multiple Tables in Financial Reports [18.557627180602164]
FinLongDocQAは、ロングコンテキストレポートにおいて、シングルテーブルとクロステーブルの両方の財務数値推論のためのデータセットである。
本論文では, 繰り返し証拠を検索し, 中間計算を行い, ラウンドごとの結果を検証する多言語多言語検索型生成であるFinLongDocAgentを提案する。
論文 参考訳（メタデータ） (2026-04-04T09:30:59Z) - HighlightBench: Benchmarking Markup-Driven Table Reasoning in Scientific Documents [88.16322879912458]
マルチモーダルな大言語モデル (MLLM) は文書理解においてかなりの進歩を遂げているが、明示的な論理ディレクティブとしてそのような方法を扱う能力はいまだ探索されていない。
マークアップ駆動型テーブル理解のための診断ベンチマークであるHighlightBenchを導入し,評価を5つのタスクファミリに分解する。
構成された出力制約の下では、視覚的手がかりがシンボリック推論と一貫して一致しなければならない場合、強いモデルでさえ不安定であることを示す。
論文 参考訳（メタデータ） (2026-03-25T06:15:40Z) - Evaluating LLMs in Finance Requires Explicit Bias Consideration [88.38155218924999]
ファイナンス固有のバイアスは、パフォーマンスを低下させ、バックテストを汚染し、報告された結果をデプロイメントのクレームに役に立たないものにする。
一つのバイアスが28%以上の研究で議論されることはない。
本稿では,バイアス診断と将来のシステム設計のための最小限の要件を満たす構造的妥当性フレームワークと評価チェックリストを提案する。
論文 参考訳（メタデータ） (2026-02-15T17:02:01Z) - Fin-RATE: A Real-world Financial Analytics and Tracking Evaluation Benchmark for LLMs on SEC Filings [31.87459935714186]
Fin-RATE(フィン・ラテ)は、米国証券取引委員会(SEC)の申請書類と財務アナリストを反映したベンチマークである。
我々は、オープンソース、クローズドソース、金融特化モデルにまたがって、Large Language Models(LLM)をリードする17のベンチマークを行った。
その結果、タスクが単一文書推論から縦断的、横断的分析へ移行するにつれて、精度が18.60%低下し、14.35%低下した。
論文 参考訳（メタデータ） (2026-02-07T00:54:37Z) - FinCARDS: Card-Based Analyst Reranking for Financial Document Question Answering [46.71622104797789]
FinCardsは、ファイナンシャル・アウェア・スキーマの下で、制約満足度として財務証拠の選択を再構成する構造化されたリグレード・フレームワークである。
証拠は、安定性を意識したアグリゲーションを備えたマルチステージトーナメントを通じて選択され、監査可能な決定トレースを生成する。
論文 参考訳（メタデータ） (2026-01-11T17:03:24Z) - Fine-Tuning Vision-Language Models for Markdown Conversion of Financial Tables in Malaysian Audited Financial Reports [0.0]
本稿ではQwen2.5-VL-7Bに基づく微調整視覚言語モデル(VLM)を提案する。
提案手法には,拡大した2,152枚の画像テキストペアをキュレートしたデータセットと,LoRAを用いた教師付き微調整戦略が含まれる。
基準に基づく評価では92.20%の精度と96.53%のTEDSスコアが得られた。
論文 参考訳（メタデータ） (2025-08-04T04:54:00Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳（メタデータ） (2023-11-15T14:41:57Z) - Evaluating the Factual Consistency of Large Language Models Through News
Summarization [97.04685401448499]
本稿では,要約タスクに着目したFIB(Factual Inconsistency Benchmark)と呼ばれる新しいベンチマークを提案する。
現実的に一貫した要約では、手作業で事実的に一貫したものとして検証する、人書きの参照要約を使用します。
現実的に矛盾しない要約に対して、我々は、事実的に矛盾しているとして手動で注釈付けした一連の要約モデルから要約を生成する。
論文 参考訳（メタデータ） (2022-11-15T18:50:34Z) - Does Recommend-Revise Produce Reliable Annotations? An Analysis on
Missing Instances in DocRED [60.39125850987604]
テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。
より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
論文 参考訳（メタデータ） (2022-04-17T11:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。