論文の概要: Same-Number Citation Swaps: Stress-Testing Jev as a Financial Evidence Judge
- arxiv url: http://arxiv.org/abs/2610.08675v1
- Date: Tue, 06 Oct 2026 16:57:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.132848
- Title: Same-Number Citation Swaps: Stress-Testing Jev as a Financial Evidence Judge
- Title（参考訳）: ストレステストのJev、財務エビデンス・ジャッジに-関係者
- Abstract要約: 財務報告は、期間、メトリクス、会計ラインにまたがって値を繰り返し、LCMが生成した計算を間違った財務的役割を引用しながら数値的に正しいものにする。
我々は,GPT-4.1-mini 計算トレースのソースサポート検証として Jev を用いた数値マッチングを超えて,確率的証拠検証がもたらすものを評価する。
- 参考スコア（独自算出の注目度）: 3.3498577203654816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Financial reports repeat values across periods, metrics and accounting lines, allowing an LLM-generated calculation to be numerically correct while citing the wrong financial role. We evaluate what probabilistic evidence verification adds beyond number matching using Jev as a source-support verifier for GPT-4.1-mini calculation traces. A signed-number-at-pointer baseline explains most recovery over exact quotation checks. To isolate the remaining role-recognition problem, we hold operands and arithmetic fixed, move citations between same-number cells, and retain controls that express equivalent facts. These contrasts reveal both wrong-role citations that pass and valid alternative citations that are withheld. Explicit column labels improve selected wrong-role decisions while also lowering support for some equivalent evidence. A constructed follow-up on 36 new source pages, labeled by a non-author reviewer, extends this evaluation and exposes the same tradeoff between detecting role errors and retaining valid citations. The contribution is a controlled evaluation that identifies what a probabilistic financial verifier distinguishes when numerical matching is held fixed. For LLM-based financial assistants, it makes numerical correctness, cited-role support and acceptance outcomes separately assessable.
- Abstract（参考訳）: 財務報告は、期間、メトリクス、会計ラインにまたがって値を繰り返し、LCMが生成した計算を間違った財務的役割を引用しながら数値的に正しいものにする。
我々は,GPT-4.1-mini 計算トレースのソースサポート検証として Jev を用いた数値マッチングを超えて,確率的証拠検証がもたらすものを評価する。
sign-number-at-pointerベースラインは、正確なクォーテーションチェックよりも多くのリカバリを説明する。
残りの役割認識問題を分離するために、オペランドと算術を固定し、同じ数のセル間で引用を移動させ、等価な事実を表現する制御を保持する。
これらのコントラストは、通過する間違ったロールの引用と、保持されない代替の引用の両方を示す。
明示的な列ラベルは選択された不正な決定を改善し、同等の証拠に対する支持を下げる。
著者でないレビュアーによってラベル付けされた36の新しいソースページのフォローアップは、この評価を拡張し、ロールエラーの検出と有効な引用の保持との間に同じトレードオフを公開する。
このコントリビューションは、確率的ファイナンシャル検証器が数値マッチングが固定されたときに区別するものを特定する制御された評価である。
LLMベースの金融アシスタントでは、数値的正確性、引用ロールサポート、受入結果が別々に評価可能である。
関連論文リスト
- Functionally Equivalent or Not? Graph-Grounded Differential Surrogate Execution for Code Equivalence [10.45005458481016]
FEAgentは、型付きプログラムグラフエビデンスと差分代理実行を組み合わせた選択等価評価エージェントである。
そのオラクルに対する不一致はすべて、直接実行によって判断され、ベンチマークラベルと単体テストのみのスコアで見逃された振る舞いの相違が明らかになる。
EquiBenchでは、1200個の評価済みペアのうち216個(18.0%)、SWE-bench Verifiedでは331個のテストパスエージェントパッチ(28.4%)が参照パッチから分岐している。
論文 参考訳（メタデータ） (2026-10-03T08:19:45Z) - A Reference-Free Score for Detecting Silent Reasoning Failures in Large Language Models [1.0602247913671219]
Reasoning Answer Faithfulness Score (RAFS) は、出力された数学的トレースが局所的に信頼できるかどうかの基準自由なインスタンスレベルの診断である。
RAFSは、ステップの妥当性、解答の推論と反ファクトの感度、解答のコンセンサス、条件付き推論安定性を組み合わせている。
RAFSは、数学的な解答精度を、サイレント推論の失敗と解答の誤りに対する監査可能な警告信号で補完することを目的としている。
論文 参考訳（メタデータ） (2026-07-28T07:28:38Z) - FinBalance: A Multi-Document Accounting Reconciliation Benchmark [8.847249672723981]
FinBalanceは、8つの業界にまたがるソースドキュメントバンドルから構築されたマルチドキュメント会計調整ベンチマークである。
ヒューマンオーサリングされたビジネスシナリオ、会計ポリシー、税金/FX処理、ドキュメントスキーマ、イントラクタ、一貫性のないテンプレートは、決定論的ジェネレータによって構成されます。
710レコードの評価分割では、6つの現代のLCMが最大で46%の精度で最終バランスシートに到達した。
論文 参考訳（メタデータ） (2026-06-14T18:09:34Z) - Is Fairness Truly Fair? Towards Reliable Lipschitz Fairness in Multi-Task Learning via Fixed-\texorpdfstring{$δ$}{delta} Alignment [0.32792728203318305]
リプシッツ様式の個人公正は、意味論的に類似した例が同様の予測を受けるべきだという考えを定式化する。
本稿では,各モデルの表現距離から監査耐性を導出した場合,異なるセマンティックしきい値の下で異なるアルゴリズムを比較する。
トレーニング時間制御正規化から評価時間固定値の監査を分離する信頼性対応フレームワークである textbfReLiF を提案する。
論文 参考訳（メタデータ） (2026-06-09T09:36:54Z) - How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation [3.4562767039451674]
ファクトイドの質問に答えながらインライン・引用を付加するかを,大規模言語モデルがどう判断するかを示す。
以上より,PopQAでは,これらの臨界頭部のみを増幅または減衰させ,解答精度を損なうことなく69%の急激な頭部を除去できることが示唆された。
結果は、モデルが明らかな推論と内部の計算経路を切断する可能性を明らかにした。
論文 参考訳（メタデータ） (2026-06-09T07:06:13Z) - FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。
FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。
その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
論文 参考訳（メタデータ） (2026-04-05T11:45:22Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-26T19:17:39Z) - ALiiCE: Evaluating Positional Fine-grained Citation Generation [54.19617927314975]
本稿では,微細な引用生成のための最初の自動評価フレームワークであるALiiCEを提案する。
我々のフレームワークはまず、文のクレームを依存性分析によって原子クレームに解析し、次に原子クレームレベルでの引用品質を計算する。
複数大言語モデルの2つの長文QAデータセット上での位置的きめ細かな引用生成性能を評価する。
論文 参考訳（メタデータ） (2024-06-19T09:16:14Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳（メタデータ） (2023-01-14T15:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。