論文の概要: FinHopper: A Progressive Multi-Hop Benchmark for Complex Financial Agents with Step-wise Evaluation
- arxiv url: http://arxiv.org/abs/2610.26036v1
- Date: Mon, 19 Oct 2026 08:57:07 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:43:02.080595
- Title: FinHopper: A Progressive Multi-Hop Benchmark for Complex Financial Agents with Step-wise Evaluation
- Title（参考訳）: FinHopper: 段階的評価を伴う複雑なファイナンシャルエージェントのためのプログレッシブなマルチホップベンチマーク
- Abstract要約: フィンホッパー(FinHopper)は、1ホップから6ホップまでの推論深度を制御する複雑な金融エージェントのベンチマークである。
1ホップから6ホップまでの推論深度を制御する複雑な金融エージェントのベンチマークであるFinHopperを紹介する。
- 参考スコア（独自算出の注目度）: 12.347279851586146
- License:
- Abstract: Financial agents are expected to answer factual investment queries through open search, but financial multi-hop retrieval differs from general multi-hop QA in a crucial way: each intermediate answer is an exact typed constraint, such as an entity, date, event, or numerical indicator, that determines the next query. This strict answer-conditioned dependency makes small intermediate errors cascade into plausible but wrong search trajectories. We introduce FinHopper, a benchmark for complex financial agents with controlled reasoning depth from 1 to 6 hops, covering stocks, funds, and macroeconomic facts, with gold intermediate answers for process-level evaluation. To construct FinHopper at scale, we design a state-transition-based synthesis framework that composes verified atomic financial QA patterns into dependency-preserving chains, followed by targeted in-synthesis verification, model-ensemble checking, and public-search validation by financial experts. Experiments with 20 LLM-agent configurations show that public search tools are necessary but insufficient: performance drops sharply as hop depth increases, the best model remains far below human experts, and process-aware scoring reveals partial reasoning progress hidden by final-answer-only evaluation. The benchmark is available at https://github.com/justajustin/FinHopper/.
- Abstract（参考訳）: ファイナンシャルエージェントは、オープン検索を通じて、実際の投資クエリに回答することが期待されているが、財務マルチホップ検索は、一般的なマルチホップQAとは異なる決定的な方法で、それぞれの中間回答は、次のクエリを決定するエンティティ、日付、イベント、数値指標などの、正確な型付き制約である。
この厳密な応答条件の依存関係は、小さな中間誤差を妥当だが間違った探索軌跡へとカスケードする。
1ホップから6ホップまでの推論深度を制御する複雑な金融エージェントのベンチマークであるFinHopperを紹介します。
本研究では、FinHopperを大規模に構築するために、検証済みの原子間金融QAパターンを依存性保存チェーンに構成する状態遷移ベースの合成フレームワークを設計し、続いて、財務専門家によるターゲット内合成検証、モデルアンサンブルチェック、パブリックリサーチ検証を行う。
20のLLMエージェント構成による実験では、公開検索ツールが必要であるが不十分であることが示されている: ホップ深さが増加するにつれて、パフォーマンスが急激に低下し、最良のモデルが人間の専門家よりはるかに低いままであり、プロセス認識スコアは、最終回答のみの評価によって隠された部分的な理由付けの進捗が明らかである。
ベンチマークはhttps://github.com/justajustin/FinHopper/で公開されている。
関連論文リスト
- Time Series Augmented Generation for Financial Applications [0.10499611180329804]
本稿では,金融時系列分析のためのエージェントの推論を厳格に評価するための新しい評価手法とベンチマークを提案する。
本手法を我々のフレームワークであるTime Series Augmented Generationを用いた大規模実証研究に適用する。
その結果,幻覚を最小限に抑えることで,ほぼ完璧な道具使用精度を達成できることが示唆された。
論文 参考訳（メタデータ） (2026-04-21T16:20:59Z) - Omanic: Towards Step-wise Evaluation of Multi-hop Reasoning in Large Language Models [60.418191092851636]
OmanicはオープンドメインのマルチホップQAリソースであり、推論プロセスを分析するための構造アノテーションとして分解されたサブクエストと中間回答を提供する。
10,296個の機械によるトレーニング例(Omanic Synth)と967個の専門家による注釈付き評価例(OmanicBench)を含む。
論文 参考訳（メタデータ） (2026-03-17T15:23:37Z) - FinLFQA: Evaluating Attributed Text Generation of LLMs in Financial Long-Form Question Answering [57.43420753842626]
FinLFQAは、複雑な財務問題に対する長文の回答を生成するための大規模言語モデルの能力を評価するために設計されたベンチマークである。
回答品質と属性品質の両方をカバーする自動評価フレームワークを提供する。
論文 参考訳（メタデータ） (2025-10-07T20:06:15Z) - FinReflectKG - MultiHop: Financial QA Benchmark for Reasoning with Knowledge Graph Evidence [0.0]
FinReflectKG - FinReflectKG上に構築されたベンチマークであるMultiHop。
我々は、KGから正確な裏付けのある財務アナリストスタイルの質問を生成する。
推論モデルと非推論モデルの両方において、KG誘導による正確な検索は実質的な利得をもたらす。
論文 参考訳（メタデータ） (2025-10-03T11:19:31Z) - FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。
このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。
我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
論文 参考訳（メタデータ） (2025-08-07T22:15:22Z) - FinChain: A Symbolic Benchmark for Verifiable Chain-of-Thought Financial Reasoning [82.7292329605713]
FinChainは、ファイナンスにおける検証可能なChain-of-Thought評価のために特別に設計された最初のベンチマークである。
12の金融ドメインに58のトピックがあり、それぞれがパラメータ化されたシンボリックテンプレートと実行可能なPythonトレースで表現されている。
FinChainは、多段階の財務推論における永続的な弱点を明らかにし、信頼できる、解釈可能な、検証可能な金融AIを開発するための基盤を提供する。
論文 参考訳（メタデータ） (2025-06-03T06:44:42Z) - FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。
我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。
その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
論文 参考訳（メタデータ） (2021-09-01T00:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。