論文の概要: IPO Finance Agent: Evaluation of LLM Financial Analysts beyond Finance Agent v2, with Automated Rubric Generation -- the Case of the SpaceX (SPCX) IPO
- arxiv url: http://arxiv.org/abs/2606.23032v2
- Date: Tue, 23 Jun 2026 07:34:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.510437
- Title: IPO Finance Agent: Evaluation of LLM Financial Analysts beyond Finance Agent v2, with Automated Rubric Generation -- the Case of the SpaceX (SPCX) IPO
- Title（参考訳）: IPO Finance Agent: LLM Financial Analysts beyond Finance Agent v2, with Automated Rubric Generation -- the SpaceX (SPCX) IPO
- Abstract要約: ファイナンスエージェント v2(Vals AI)が財務モデル評価の基準ベンチマークとして登場した。
タスクドメインと検索アーキテクチャの2つの方向に沿ってファイナンスエージェントフレームワークを拡張したIPOファイナンスエージェントを紹介します。
最高のパフォーマンス評価モデルであるAlibaba Qwen 3.7 Maxは、クエリ毎の0.30 USDで79.4%の精度に達した。
その結果生まれたフロンティアの最もコスト効率のよいモデルであるXiaomi MiMo-2.5 Proは、クエリあたり0.05 USDでわずかに低い精度 (76.8%) に達する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finance Agent v2 (by Vals AI) has emerged as the reference benchmark for evaluating both Anthropic Claude and OpenAI ChatGPT frontier language models on financial tasks. However, it narrowly deals with periodic reporting from publicly traded companies (SEC 10-K and 10-Q filings), and its agentic harness relies on naive, unenriched chunk retrieval. Neither the task design nor the retrieval approach addresses the distinct challenges of IPO due diligence. SEC S-1 filings combine historical financial statements, governance structures, pro forma and common-control accounting treatments, capital-formation narratives, and underwriting-sensitive risk disclosures within substantially longer documents than typical periodic filings. That is why we introduce IPO Finance Agent, which extends the Finance Agent v2 framework along two directions: task domain and retrieval architecture. During our experiments, the original Finance Agent v2 harness basically failed to deliver any output related to the SpaceX S-1 filing, due to document length. We therefore had to improve the agentic harness with contextual retrieval, a more realistic and industry-standard approach for long documents. We also built a dataset of 1,000 IPO-diligence questions, and publicly release 70 questions on the SpaceX (SPCX) S-1 filing to support reproducibility, while the remainder are held private to guard against benchmark contamination. In addition, we introduce an evaluator-optimizer pipeline to automatically generate evaluation rubrics for the benchmark: candidate facts are extracted from model answers, consolidated into draft criteria, then automatically audited for omissions, hallucinations, mistiered items, and redundancy, with LLM feedback driving iterative repair, targeted enrichment, and deduplication. Human experts only review final rubrics before deployment. Results show that the best-performing evaluated model, Alibaba Qwen 3.7 Max, reaches 79.4% accuracy at 0.30 USD per query, and the most cost-efficient model on the resulting Pareto frontier, Xiaomi MiMo-2.5 Pro, reaches slightly lower accuracy (76.8%) at 0.05 USD per query. Both exceed the current Finance Agent v2 leaderboard ceiling-Google Gemini 3.5 Flash at 57.9% for 2.51 USD per querywhile undercutting even FABv2's cheapest entry (MiniMax M3: 48.3% at 0.32 USD) on cost-efficiency. Code and data are released on GitHub: https://github.com/benstaf/ipoagent
- Abstract（参考訳）: ファイナンスエージェント v2 (Vals AI) は、財務タスクにおける Anthropic Claude と OpenAI ChatGPT 両方のフロンティア言語モデルを評価する基準ベンチマークとして登場した。
しかし、公開企業(SEC 10-Kと10-Qの申請書)からの定期的な報告を狭義に扱い、そのエージェントハーネスは単純で非リッチなチャンク検索に依存している。
タスクデザインも検索アプローチも、IPOのデュー・ディリジェンス(double due Diligence)という別の課題に対処するものではない。
SEC S-1書類は、歴史的財務文書、統治構造、プロ・フォマおよび共通管理会計処理、資本形成の物語、そして典型的な定期的な文書よりもかなり長い文書内での引受に敏感なリスク開示を組み合わせている。
これは金融エージェントv2フレームワークを拡張して、タスクドメインと検索アーキテクチャという2つの方向に進むものです。
今回の実験では、もともとのファイナンスエージェント v2は、文書の長さのため、基本的にSpaceX S-1の申請に関する出力を届けられなかった。
したがって、長い文書に対してより現実的で業界標準のアプローチである文脈検索を用いてエージェントハーネスを改善する必要があった。
また、1000のIPOディリジェンス質問のデータセットを構築し、再現性をサポートするためにSpaceX(SPCX)のS-1申請書に70の質問を公開しました。
さらに、評価器最適化パイプラインを導入し、モデル回答から候補事実を抽出し、ドラフト基準に集約し、削除、幻覚、誤認、冗長性を自動監査し、LCMフィードバックが反復的修復、目標エンリッチメント、重複を誘導する。
人間の専門家は、配備前に最終破片のみをレビューする。
その結果、最高のパフォーマンス評価モデルであるAlibaba Qwen 3.7 Maxは、1クエリあたり0.30 USDで79.4%の精度に達し、結果のParetoフロンティアであるXiaomi MiMo-2.5 Proにおける最もコスト効率のよいモデルは、クエリ当たり0.05 USDでわずかに低い精度(76.8%)に達した。
どちらも現行のファイナンスエージェント v2 リーダーボード 天井のGoogle Gemini 3.5 Flashを57.9%でクエリ当たり2.51 USDで上回っているが、FABv2の最も安いエントリー(MiniMax M3: 48.3% at 0.32 USD)でさえコスト効率が低い。
コードとデータはGitHubでリリースされている。
関連論文リスト
- FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models [53.68149869349268]
大規模言語モデル(LLM)は、自動理論計算機科学(TCS)研究の可能性を増大させている。
我々は、最前線のエンドツーエンドのTCS研究でLSMを評価するための専門家検証ベンチマークである ourbenchmarkを紹介した。
論文 参考訳（メタデータ） (2026-08-20T15:13:41Z) - Mint-Agent: Introducing Finance-Native Agentic Foundation Models [36.08481007458733]
Mint-Agentは、2種類の金融インテリジェンスに基づいて設計された金融ネイティブエージェントモデルのファミリーである。
我々のデータエンジンは、原子間金融能力と現実世界の金融源からの長期エージェント実行のためのクリーンで特殊なタスクを構築します。
我々は、SFT、クリティカルステップPD、RLVRを組み合わせて、個別の財務推論とエージェント実行の専門家を育成する。
論文 参考訳（メタデータ） (2026-08-17T10:38:54Z) - FrontierFinance: A Challenging Benchmark for Measuring Frontier Intelligence of Finance Agents [5.045937000137832]
FrontierFinanceは、220のエキスパートによるクエリと11,543のソース対応ルーブリックの完全にオープンなベンチマークで、6つの重要なユースケースにまたがる完全な投資家ワークフローを紹介します。
サマヤの社内システムは56.2%であり、最強のフロンティアモデル(Claude Fable 5, 49.2%)より約2.2倍低いコストで先行している。
最高のオープンウェイトモデル(Kimi K3, 46.4%)は4.5倍のコストで最高のプロプライエタリモデルとほぼ一致している。
論文 参考訳（メタデータ） (2026-08-12T05:43:26Z) - FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction [57.909515451254855]
FinDeepIndicatorは、エンドツーエンドの金融指標構築においてDeep Research(DR)エージェントを評価するための最初のベンチマークである。
DRエージェントを、公式仕様、データ収集、インジケータ計算、回答生成の4段階にわたって評価する。
米国と中国の両方の市場から抽出された3350のキュレートされた質問応答ペア、10年間の歴史的財務データ、800の上場企業が含まれている。
論文 参考訳（メタデータ） (2026-08-01T16:54:41Z) - AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA [7.135926644099901]
我々はAgentFinVQAを提案する。AgentFinVQAはマルチエージェントパイプラインで、各クエリをプランニング、OCR、レジェンドグラウンド、ビジュアルインスペクション、検証に分解する。
FinMMEでは、AgentFinVQAはプロプライエタリなバックボーンを持つゼロショットベースラインにマッチするプライマリバックボーンよりも$+7.68$ ppを改善している。
誤り分析は、疑問の誤解、伝説の混乱、抽出誤りが失敗の3分の2近くを占めていることを示している。
論文 参考訳（メタデータ） (2026-06-18T04:33:07Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - AgenticRAG: Agentic Retrieval for Enterprise Knowledge Bases [0.7176906280023592]
本稿では,企業知識ベース上での検索と分析のためのエージェントハーネスであるAgenticRAGを提案する。
我々のアプローチは、既存のエンタープライズ検索インフラの上に軽量なハーネスを積み重ねることで、この過度さを軽減します。
本研究は,実環境における実運用環境への適合性を示すものである。
論文 参考訳（メタデータ） (2026-05-07T00:39:22Z) - Agentic Retrieval-Augmented Generation for Financial Document Question Answering [7.56842616602779]
FinAgent-RAGは、反復的な検索推論ループを自己組織化してオーケストレーションするエージェントRAGフレームワークである。
コントラシティブ・ファイナンシャル・レトリバー(Contrastive Financial Retriever)は、意味的には似ているが数値的に異なる金融パスを区別するために、厳しい負の採掘で訓練されたコントラシティブ・ファイナンシャル・レトリバーを統合している。
76.81%、78.46%、74.96%の精度で最強のベースラインを5.62-9.32ポイント上回っている。
論文 参考訳（メタデータ） (2026-05-06T19:59:51Z) - Benchmarking Multi-Agent LLM Architectures for Financial Document Processing: A Comparative Study of Orchestration Patterns, Cost-Accuracy Tradeoffs and Production Scaling Strategies [0.0]
財務文書から構造化情報を抽出するための4つのマルチエージェントオーケストレーションアーキテクチャを比較した。
反射的アーキテクチャは、最高フィールドレベルF1(0.943)を達成するが、シーケンシャルベースラインのコストは2.3倍である。
本稿では, セマンティックキャッシング, モデルルーティング, 適応再試行戦略に関するアブレーション研究を行い, ハイブリッド構成により, 反射型アーキテクチャの精度の89%を1.15倍のコストで回収できることを実証した。
論文 参考訳（メタデータ） (2026-03-24T00:02:47Z) - Rethinking Retrieval: From Traditional Retrieval Augmented Generation to Agentic and Non-Vector Reasoning Systems in the Financial Domain for Large Language Models [0.0]
本稿では,ベクトルベースエージェントRAGをハイブリッド検索とメタデータフィルタリングを用いて比較した最初の体系的評価を行う。
検索指標(MRR, Recall@5), LLM-as-a-judgeのペア比較, レイテンシ, 前処理コストを計測する。
以上の結果から,金融Q&Aシステムに先進的なRAG技術を適用することにより,検索精度,回答品質が向上し,生産における費用対効果のトレードオフが考慮されることが明らかとなった。
論文 参考訳（メタデータ） (2025-11-22T20:06:25Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - When Agents Trade: Live Multi-Market Trading Benchmark for LLM Agents [74.55061622246824]
Agent Market Arena (AMA)は、LLM(Large Language Model)ベースのトレーディングエージェントを評価するための、初めてのリアルタイムベンチマークである。
AMAは、検証済みのトレーディングデータ、専門家チェックされたニュース、および統一されたトレーディングフレームワーク内に多様なエージェントアーキテクチャを統合する。
GPT-4o、GPT-4.1、Claude-3.5-haiku、Claude-sonnet-4、Gemini-2.0-flashにまたがる薬剤を評価する。
論文 参考訳（メタデータ） (2025-10-13T17:54:09Z) - FinReflectKG - MultiHop: Financial QA Benchmark for Reasoning with Knowledge Graph Evidence [0.0]
FinReflectKG - FinReflectKG上に構築されたベンチマークであるMultiHop。
我々は、KGから正確な裏付けのある財務アナリストスタイルの質問を生成する。
推論モデルと非推論モデルの両方において、KG誘導による正確な検索は実質的な利得をもたらす。
論文 参考訳（メタデータ） (2025-10-03T11:19:31Z) - FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。
このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。
我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
論文 参考訳（メタデータ） (2025-08-07T22:15:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。