論文の概要: FinAutoRubric: Expert-Guided Automatic Rubric Generation for Evaluating Financial Research Agents
- arxiv url: http://arxiv.org/abs/2609.35744v1
- Date: Mon, 28 Sep 2026 17:55:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 19:11:13.781499
- Title: FinAutoRubric: Expert-Guided Automatic Rubric Generation for Evaluating Financial Research Agents
- Title（参考訳）: FinAutoRubric:ファイナンシャルリサーチエージェント評価のためのエキスパートガイド付き自動ルーブリック生成
- Abstract要約: 専門家レビューされた金融ベンチマークは、各機関の基準をコード化できない拡張に費用がかかる固定された、単位単位のルーリックに依存している。
FinAutoRubricでは、専門家が再利用可能な評価ガイダンスを指定し、エージェントとコードはクエリ固有のルーブリック生成、レビュー、バリデーションを実行する。
この専門家のガイダンスは、コードが強制するプロンプトやルールとして、すべてのエージェントを管理します。
- 参考スコア（独自算出の注目度）: 52.23447452815642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating finance research agents requires rubrics that reflect expert standards and fix the values correct as of an information cutoff. Expert-reviewed finance benchmarks rely on fixed, per-item rubrics, which are costly to extend and cannot encode each institution's own standard. In FinAutoRubric, experts specify reusable evaluation guidance, while agents and code carry out query-specific rubric generation, review, and validation. This expert guidance governs every agent, as prompts and as rules that code enforces, and a Task Bank of reusable criteria carries it across tasks. In long-horizon loops that follow the expert guidance, a writer agent researches every expected value and a reviewer agent verifies it, and failures escalate to a human. On three expert-authored finance benchmarks, its rubrics track expert scoring as closely as the strongest evaluated generator while stating the expert rubric's expected value for more criteria, their scores agree with human grading, and in-house analysts prefer them in a blind review. The released 100-query FinAutoRubric Benchmark, built from in-house analysts' key questions across 78 tasks and eight asset classes, shows that rubrics from an earlier model generation still leave headroom for a later one.
- Abstract（参考訳）: 金融調査エージェントの評価には、専門家の基準を反映し、情報遮断時の値を正しく修正するルーリックが必要である。
専門家レビューされた金融ベンチマークは、固定された単位単位のルーリックに依存しており、各機関の基準をエンコードするにはコストがかかる。
FinAutoRubricでは、専門家が再利用可能な評価ガイダンスを指定し、エージェントとコードはクエリ固有のルーブリック生成、レビュー、バリデーションを実行する。
この専門家のガイダンスは、コードが強制するプロンプトやルールとして、すべてのエージェントを管理します。
専門家の指導に従う長い水平ループでは、ライターエージェントがすべての期待値を調査し、レビューエージェントがそれを検証し、失敗が人間にエスカレートする。
専門家が承認した3つの金融ベンチマークでは、ルーリックは最も評価の高いジェネレータとして評価され、専門家がより多くの基準に対して期待する価値を述べ、そのスコアは人間の格付けと一致し、社内アナリストはブラインドレビューでそれらを好んでいる。
リリースされた100クエリのFinAutoRubric Benchmarkは、78のタスクと8つのアセットクラスにわたる、社内アナリストの主要な質問に基づいて構築されている。
関連論文リスト
- GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation [74.44235943118994]
GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。
我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。
人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
論文 参考訳（メタデータ） (2026-08-30T15:39:39Z) - FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction [57.909515451254855]
FinDeepIndicatorは、エンドツーエンドの金融指標構築においてDeep Research(DR)エージェントを評価するための最初のベンチマークである。
DRエージェントを、公式仕様、データ収集、インジケータ計算、回答生成の4段階にわたって評価する。
米国と中国の両方の市場から抽出された3350のキュレートされた質問応答ペア、10年間の歴史的財務データ、800の上場企業が含まれている。
論文 参考訳（メタデータ） (2026-08-01T16:54:41Z) - FinResearchBench II: A Deep Research Benchmark with Consensus-Derived Gold Rubrics for Distinguishing Financial Report Quality [11.187958235756279]
最終ループで人間の専門家がいなくても高品質なルーブリックを生成するスケーラブルなパイプラインを提案する。
我々は、104の現実世界のユーザクエリから財務的なディープ・リサーチ・ベンチマークを構築し、14450のクエリ固有の候補ルーリックを自動的に合成する。
10のディープ・リサーチ・システムにおいて、アイテムレベルのパスレートは58.58%から22.23%と明確に区別されている。
論文 参考訳（メタデータ） (2026-07-14T01:31:20Z) - Hedge-Bench: Benchmarking Agents on Hard, Realistic Tasks Pertaining to Financial Reasoning [0.13999481573773073]
Hedge-Bench 1.0は、プロのヘッジファンドアナリストの明確な理由に基づく102件の実際の業務のベンチマークである。
Frontier Model.com/Trata-Inc/trata-hedge-benchでデータセットと評価ハーネスを公開する。
論文 参考訳（メタデータ） (2026-06-02T17:11:56Z) - WorkstreamBench: Evaluating LLM Agents on End-to-End Spreadsheet Tasks in Finance [4.787072076364137]
フロンティアAIラボは、スプレッドシート全体をスクラッチから構築できるエージェントを開発した。
これは金融において特に重要であり、金融モデリング、予測、シナリオ分析といった中核がスプレッドシートを通じて一般的に行われている。
既存のスプレッドシートベンチマークでは、この高度な能力は測定されず、代わりに質問回答や単一形式の編集に重点を置いている。
論文 参考訳（メタデータ） (2026-05-21T16:06:34Z) - BenchGuard: Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks [26.58983143152204]
BenchGuardはタスク指向、実行ベースのエージェントベンチマークのための最初の自動監査フレームワークである。
それは、ScienceAgentBenchの12の著者確認問題と、BIXBench Verified-50サブセットのエキスパート特定問題の83.3%を特定している。
USD 15の50の複雑なバイオインフォマティクスタスクの完全な監査により、自動ベンチマーク監査は人間によるレビューの実践的で価値のある補完となる。
論文 参考訳（メタデータ） (2026-04-27T19:51:25Z) - Deep FinResearch Bench: Evaluating AI's Ability to Conduct Professional Financial Investment Research [15.624350049353188]
Deep FinResearch Benchは、金融投資研究におけるDeep Research(DR)エージェントの実践的で包括的な評価フレームワークである。
このベンチマークは、質的な厳密さ、定量的な予測と評価の正確さ、クレームの信頼性と妥当性の3つの側面を評価する。
このベンチマークをフロンティアDRエージェントの財務報告に適用し、金融専門家が作成した報告書と比較すると、AI生成レポートは依然として不足していることがわかる。
論文 参考訳（メタデータ） (2026-04-22T18:53:34Z) - Can Deep Research Agents Find and Organize? Evaluating the Synthesis Gap with Expert Taxonomies [57.11324429385405]
72のコンピュータサイエンスサーベイから得られた診断ベンチマークであるTaxoBenchを紹介する。
我々は,3,815個の引用を根本的真理として正確に分類した分類木を手作業で抽出した。
ベストエージェントは、専門家が選択した論文の20.9%しかリコールせず、完璧なインプットであっても、最高のモデルは組織の0.31 ARIしか達成していない。
論文 参考訳（メタデータ） (2026-01-18T11:57:09Z) - DEER: A Comprehensive and Reliable Benchmark for Deep-Research Expert Reports [49.217247659479476]
ディープリサーチシステムは、多段階の推論とエビデンスベースの合成を通じて専門家レベルのレポートを生成することができる。
既存のベンチマークは、エキスパートレポートの体系的な基準を欠いていることが多い。
専門家レベルのディープリサーチレポートを評価するためのベンチマークであるDEERを紹介する。
論文 参考訳（メタデータ） (2025-12-19T16:46:20Z) - CryptoBench: A Dynamic Benchmark for Expert-Level Evaluation of LLM Agents in Cryptocurrency [60.83660377169452]
本稿では,Large Language Model (LLM)エージェントの現実的能力を厳格に評価するために設計された,最初の専門家による動的ベンチマークであるCryptoBenchを紹介する。
検索と予測のための汎用エージェントベンチマークとは異なり、プロの暗号分析は特定の課題を提示する。
論文 参考訳（メタデータ） (2025-11-29T09:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。