論文の概要: FrontierFinance: A Challenging Benchmark for Measuring Frontier Intelligence of Finance Agents
- arxiv url: http://arxiv.org/abs/2608.11683v1
- Date: Wed, 12 Aug 2026 05:43:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.475925
- Title: FrontierFinance: A Challenging Benchmark for Measuring Frontier Intelligence of Finance Agents
- Title（参考訳）: FrontierFinance:ファイナンスエージェントのフロンティアインテリジェンス測定ベンチマーク
- Abstract要約: FrontierFinanceは、220のエキスパートによるクエリと11,543のソース対応ルーブリックの完全にオープンなベンチマークで、6つの重要なユースケースにまたがる完全な投資家ワークフローを紹介します。
サマヤの社内システムは56.2%であり、最強のフロンティアモデル(Claude Fable 5, 49.2%)より約2.2倍低いコストで先行している。
最高のオープンウェイトモデル(Kimi K3, 46.4%)は4.5倍のコストで最高のプロプライエタリモデルとほぼ一致している。
- 参考スコア（独自算出の注目度）: 5.045937000137832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI agents are increasingly deployed for professional investment research, yet no benchmark captures the complexity of the full investor workflow. Existing benchmarks mainly target financial data extraction, a narrow slice that current models have largely saturated, while reference-based metrics and generic LLM-as-a-judge scoring fall short on the open-ended, long-form answers that real analyst queries demand. We introduce FrontierFinance, a fully open benchmark of 220 expert-crafted queries and 11,543 source-attributed rubrics spanning six crucial use cases across the full investor workflow. FrontierFinance is both broader and harder than existing public finance benchmarks. Evaluating frontier models and agent systems under a common harness restricted to publicly available data, we find that the tool harness, not the model alone, strongly shapes quality and efficiency; that Samaya's in-house system leads at 56.0%, ahead of the strongest frontier model (Claude Fable 5, 49.2%) at roughly 2.2x lower cost; and that the best open-weight model (Kimi K3, 46.4%) nearly matches the best proprietary model at 4.5x lower cost. Screening & Discovery and Sector, Industry & Macro remain the hardest use cases across all systems, where even the best systems reach only 33% and 39%. We make the dataset and grading code publicly available.
- Abstract（参考訳）: AIエージェントはますます専門的な投資調査のためにデプロイされているが、完全な投資家ワークフローの複雑さを捉えているベンチマークは存在しない。
既存のベンチマークは主に財務データ抽出を対象としており、現在のモデルがほぼ飽和している狭いスライスである一方、参照ベースのメトリクスとジェネリックLLM-as-a-judgeスコアは、実際のアナリストが要求するオープンエンドのロングフォームの回答では不足している。
FrontierFinanceは、220のエキスパートによるクエリと11,543のソース対応ルーブリックの完全にオープンなベンチマークで、6つの重要なユースケースにまたがる完全な投資家ワークフローを紹介します。
FrontierFinanceは、既存の公開金融ベンチマークよりも広くて難しい。
共通ハーネス下でのフロンティアモデルとエージェントシステムの評価では,ツールハーネスが品質と効率を強く形成するだけでなく,最強フロンティアモデル (Claude Fable 5, 49.2%) よりも約2.2倍低いコストで56.0%,最高のオープンウェイトモデル (Kimi K3, 46.4%) が4.5倍のコストで最高のプロプライエタリモデルとほぼ一致している。
スクリーニングと発見とセクタ,産業とマクロは,最高のシステムでさえわずか33%と39%に留まる,すべてのシステムでもっとも難しいユースケースです。
データセットとグレーディングコードを公開しています。
関連論文リスト
- FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models [53.68149869349268]
大規模言語モデル(LLM)は、自動理論計算機科学(TCS)研究の可能性を増大させている。
我々は、最前線のエンドツーエンドのTCS研究でLSMを評価するための専門家検証ベンチマークである ourbenchmarkを紹介した。
論文 参考訳（メタデータ） (2026-08-20T15:13:41Z) - Can Open-Weight Models Compete on Financial Text Comprehension? [0.0]
中国のAI研究所のオープンウェイトな言語モデルは、ここ数カ月でプロプライエタリなフロンティアモデルと比較してベンチマークに上がった。
しかし、実際の金融業務に対する信頼性はほとんど証明されていない。
本誌はFinancial Touchstoneのベンチマークをアップデートした。
論文 参考訳（メタデータ） (2026-08-09T10:51:52Z) - FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction [57.909515451254855]
FinDeepIndicatorは、エンドツーエンドの金融指標構築においてDeep Research(DR)エージェントを評価するための最初のベンチマークである。
DRエージェントを、公式仕様、データ収集、インジケータ計算、回答生成の4段階にわたって評価する。
米国と中国の両方の市場から抽出された3350のキュレートされた質問応答ペア、10年間の歴史的財務データ、800の上場企業が含まれている。
論文 参考訳（メタデータ） (2026-08-01T16:54:41Z) - IPO Finance Agent: Benchmark of LLM Financial Analysts Beyond Finance Agent v2, with Automated Rubric Generation, on the SpaceX (SPCX) IPO [0.0]
ファイナンスエージェント v2(Vals AI)が金融言語モデルを評価する基準ベンチマークとして登場した。
タスクドメインと検索アーキテクチャの2つの方向に沿ってファイナンスエージェントフレームワークを拡張したIPOファイナンスエージェントを紹介します。
最高の性能評価モデルであるZhipu GLM-5.2は79.8%の精度に達し、その結果得られたフロンティアで最もコスト効率のよいXiaomi MiMo-2.5 Proはクエリあたり0.05 USDでわずかに低い精度(77.2%)に達した。
論文 参考訳（メタデータ） (2026-06-22T08:42:19Z) - SciOrch: Learning to Orchestrate Expert LLMs for Solving Frontier Multimodal Scientific Reasoning Tasks [65.14594927081983]
SciOrchは、科学的な推論のためにフロンティアLSMを編成する軽量8Bモデルを訓練するフレームワークである。
SGI-ReasoningとScientificsの最初の試験にまたがる240回の試験セットでは、SciOrchの平均精度は56.66%に達した。
また、一般的なマルチエージェントメソッドのAPIコストの半分未満で、SGIとSFEの両方で最高の精度を実現する。
論文 参考訳（メタデータ） (2026-06-14T15:45:34Z) - Agents' Last Exam [275.79071391137074]
Agents' Last Exam (ALE)は、AIエージェントを長期的、経済的に価値のある、現実のタスクで検証可能な結果で評価するために設計されたベンチマークである。
ALEは250以上の業界の専門家と共同で開発され、O*NET / SOC 2018を参照して定義された非物理産業をカバーしている。
現在の結果は、最も硬い層が飽和していないことを示している:主流のハーネスとバックボーンの構成で、平均フルパスレートは1%以下である。
論文 参考訳（メタデータ） (2026-06-03T20:20:46Z) - Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs [86.49905745865038]
Soohakは64人の数学者によって新たに書かれた439プロブレムのベンチマークである。
データセットは2026年後半に公開され、中間で要求に応じてモデル評価が利用可能になる。
論文 参考訳（メタデータ） (2026-05-09T17:14:22Z) - The AI Productivity Index (APEX) [4.122962658725304]
我々は、フロンティアAIモデルが高い経済価値で知識労働を行うことができるかどうかを評価するベンチマークであるAI生産性指数(APEX)の最初のバージョンを紹介する。
APEX-v1.0は200のテストケースを含み、投資銀行、マネジメントコンサルティング、法律、プライマリ医療の4つの領域をカバーする。
GPT 5 (Thinking = High) は最高スコア (64.2%) を獲得し、Grok 4 (61.3%) と Gemini 2.5 Flash (Thinking = On) (60.4%) が続く。
論文 参考訳（メタデータ） (2025-09-30T03:26:17Z) - BizFinBench: A Business-Driven Real-World Financial Benchmark for Evaluating LLMs [7.9458352414205295]
大規模な言語モデルは一般的なタスクでは優れていますが、ロジック重大で精度の高い、財務、法律、医療といった重要な領域での信頼性の評価は依然として難しいままです。
BizFinBenchは、実世界の金融アプリケーションにおけるLSMの評価に特化して設計された最初のベンチマークである。
BizFinBenchは中国語で6,781の注釈付きクエリで構成されており、数値計算、推論、情報抽出、予測認識、知識に基づく質問応答の5つの次元にまたがっている。
論文 参考訳（メタデータ） (2025-05-26T03:23:02Z) - Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications [88.96861155804935]
オープンソースのマルチモーダル金融 LLM である textitOpen-FinLLMs を紹介する。
FinLLaMAは52ビリオンのトーケンコーパス、FinLLaMA-Instructは573Kの財務命令で微調整され、FinLLaVAは1.43Mのマルチモーダルチューニングペアで強化されている。
我々は、14の財務タスク、30のデータセット、および4つのマルチモーダルタスクにわたるOpen-FinLLMをゼロショット、少数ショット、教師付き微調整設定で評価した。
論文 参考訳（メタデータ） (2024-08-20T16:15:28Z) - BloombergGPT: A Large Language Model for Finance [42.73350054822628]
我々は、幅広い財務データに基づいて訓練された500億のパラメータ言語モデルであるBloombergGPTを提示する。
Bloombergの広範囲なデータソースに基づいて,汎用データセットから345億のトークンを付加した,363億のトークンデータセットを構築しました。
我々の混合データセットトレーニングは、財務タスクにおける既存のモデルをかなりのマージンで上回るモデルにつながります。
論文 参考訳（メタデータ） (2023-03-30T17:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。