論文の概要: NumTrace: Auditing the Number Provenance of Financial Analyst Agents

• arxiv url: http://arxiv.org/abs/2610.34887v1
• Date: Mon, 26 Oct 2026 05:58:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.768982
• Title: NumTrace: Auditing the Number Provenance of Financial Analyst Agents
• Title（参考訳）: NumTrace:ファイナンシャル・アナリティクス・エージェントの件数調査
• Abstract要約: NumTraceは、財務分析担当者による各数値クレームの証明を監査する新しいベンチマークである。 NumTraceは現在、2,163件のSEC EDGAR文書に対して540件の質問を行っている。
• 参考スコア（独自算出の注目度）: 9.678234971524857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A numerical claim generated by a financial analyst agent can match a number in a company filing but refer to the wrong entity, concept, period, unit or scope. A check based on reference answers can mark such an answer as wrong but does not explain why it fails. In this paper, we present NumTrace, a new benchmark that audits the provenance of each numerical claim made by financial analyst agents: its source and financial semantics. NumTrace currently has 540 questions over 2,163 SEC EDGAR documents. To the best of our knowledge, it is the first numerical benchmark about who holds a company's shares (Form 13F) and what its executives are owed (Item 402(i)). On a frozen snapshot of these documents, we build the reference answers according to accounting rules. NumTrace then gives each claim three separate verdicts: value, binding and support. By retaining separate value and binding verdicts, NumTrace detects right number, wrong account (RNWA) errors: a claim has an RNWA error when it passes the value check but fails the binding check. The RNWA rate quantifies the gap between value-only and joint value-and-binding pass rates. Finally, we audit three agents, Claude Opus 5.5, GPT-6 Astra and DeepSeek-V4.1-Flash. RNWA errors make up 67.5-81.8% of each agent's failing claims. In particular, on 13F co-filing group questions, about 91% of claims pass the value check, but fewer than half pass the binding check.
• Abstract（参考訳）: 財務分析員が生み出した数値クレームは、会社提出の数字と一致するが、間違った実体、概念、期間、単位又は範囲を参照すること。 基準回答に基づくチェックは、そのような答えが間違っているとマークすることができるが、なぜ失敗するのかは説明しない。 本稿では,NumTraceを提案する。NumTraceは,ファイナンシャル・アナリスト・エージェントが行う各数値的主張(その源泉および財務意味論)の証明を監査する新しいベンチマークである。 NumTraceは現在、2,163件のSEC EDGAR文書に対して540件の質問を行っている。 当社の知る限りでは、企業の株式の保有者(Form 13F)と経営陣が負っているもの(第402条(i))に関する最初の数値ベンチマークです。 これらの文書の凍結スナップショットでは、会計規則に従って参照回答を構築する。 NumTraceは、それぞれのクレームに対して、値、バインディング、サポートの3つの別々の評価を与える。 NumTraceは、別の値とバインディングのバリデーションを保持することによって、正しい番号、間違ったアカウント(RNWA)エラーを検出する。 RNWAレートは、値のみとジョイントバリューと結合パスレートの間のギャップを定量化する。 最後に、Claude Opus 5.5、GPT-6 Astra、DeepSeek-V4.1-Flashの3つのエージェントを監査する。 RNWAエラーは各エージェントの主張の67.5-81.8%を占める。 特に、13Fの共ファイリンググループ質問では、クレームの約91%が値チェックをパスするが、バインディングチェックをパスする割合は半分以下である。

関連論文リスト

• Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents [9.127884945730019]
  シンキング・イン・ベッツ(Thinking-in-Bets)とは、エージェントがメインクレームの短いプライベートな記録を書き込む、トレーニング不要の方法である。 問題が発生した場合、エージェントはこのクレームチェックリストを参照して、検証作業はそのまま維持する。
  論文  参考訳（メタデータ） (2026-10-26T00:35:07Z)
• Who Verifies the Agent's Success Claim? Self-Report Leakage in GUI-Agent Completion Judging [15.737958913103705]
  本研究では,個別に記録されたトレースに対して,エージェントの完了債権を調査するトラス監査について検討する。 制御されたアウェア/ブラインド介入は、自己報告リークを明らかにする。 監査者は、465レコードの監査ターゲットセットで0.75--0.78、ホールドアウトバッチ2で0.77--0.81、リコールおよびF1においてクレームアウェア及びプロンプトブラインド制御より優れる。
  論文  参考訳（メタデータ） (2026-10-21T11:50:17Z)
• Same-Number Citation Swaps: Stress-Testing Jev as a Financial Evidence Judge [3.3498577203654816]
  財務報告は、期間、メトリクス、会計ラインにまたがって値を繰り返し、LCMが生成した計算を間違った財務的役割を引用しながら数値的に正しいものにする。 我々は,GPT-4.1-mini 計算トレースのソースサポート検証として Jev を用いた数値マッチングを超えて,確率的証拠検証がもたらすものを評価する。
  論文  参考訳（メタデータ） (2026-10-06T16:57:47Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• Persuaded, Not Informed: Incentive-Misaligned Witnesses Defeat In-Context Grounding [0.0]
  より強力なモデルで対処されていない障害モードを特定します。 文脈が楽観主義へのインセンティブを持つ当事者による主張を含む場合、モデルはこの主張を証拠として扱い、明確化は会社の記録を容認できないとみなす。
  論文  参考訳（メタデータ） (2026-09-23T23:52:24Z)
• One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence [41.99844472131922]
  一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。 我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
  論文  参考訳（メタデータ） (2026-07-30T14:52:36Z)
• GAUGE: Grading Agent-Built Financial Models Without a Golden Answer [38.72982631250115]
  65社をカバーする108組のうち、中央値は0.33、92.6%は0.70以下であり、同じビンテージのペアは10%以内のインプリード価格に合意していない。 同じ企業の独立したアナリストモデルを用いて、65社をカバーする108組のうち、中央値のシングル参照スコアは0.33、92.6%が0.70未満であり、同じビンテージペアが10%以内のインリード価格で一致しないことが判明した。 本稿では,エージェント構築評価モデルを評価するベンチマークであるGAUGEを紹介する。
  論文  参考訳（メタデータ） (2026-07-27T13:03:19Z)
• FinBalance: A Multi-Document Accounting Reconciliation Benchmark [8.847249672723981]
  FinBalanceは、8つの業界にまたがるソースドキュメントバンドルから構築されたマルチドキュメント会計調整ベンチマークである。 ヒューマンオーサリングされたビジネスシナリオ、会計ポリシー、税金/FX処理、ドキュメントスキーマ、イントラクタ、一貫性のないテンプレートは、決定論的ジェネレータによって構成されます。 710レコードの評価分割では、6つの現代のLCMが最大で46%の精度で最終バランスシートに到達した。
  論文  参考訳（メタデータ） (2026-06-14T18:09:34Z)
• MoCA-Agent: A Market-of-Claims Code Agent for Financial and Numerical Reasoning [47.751319722749116]
  textscMOCA-Agentは、フリーフォームのマルチエージェントの議論をクレームレベルの検証に置き換える、有望なコードエージェントである。 このシステムは、各質問をタイプされた原子的クレームに分解し、専門家のトレーダーにそれらのクレームの売買を依頼し、信頼度の高い受け入れ/拒絶決定へと命令をクリアする。 コード認識検証器は、実行、構造整合性、一般的な金銭的推論エラーのプログラムをチェックする。
  論文  参考訳（メタデータ） (2026-06-10T00:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。