論文の概要: LiveSearch: Questions as Executable Verifier Code for a Live Benchmark of Professional-Source Financial Search Agents

• arxiv url: http://arxiv.org/abs/2610.37166v1
• Date: Tue, 27 Oct 2026 12:55:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.628579
• Title: LiveSearch: Questions as Executable Verifier Code for a Live Benchmark of Professional-Source Financial Search Agents
• Title（参考訳）: LiveSearch: プロフェッショナルソースのファイナンシャル検索エージェントのライブベンチマークのための実行可能検証コードとしての質問
• Abstract要約: 我々は,各質問を実行可能な検証コードとして格納するライブベンチマークであるLiveSearchを紹介する。 問題は凍結され、金の答えはプロの財務データに対してプログラムを実行することで決定される。 一般的なウェブ検索では、6つの現代のツールコールモデルが70.9%から76.7%の精度で答えている。
• 参考スコア（独自算出の注目度）: 33.307172326521176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In finance, the answer that matters is usually the current one: prices, rates, and disclosures hold only as of a given day, so retrieving up-to-date facts is a core capability of a financial agent. Yet most financial benchmarks overlook timeliness. They fix each answer at annotation time, so the gold goes stale as markets move and, once leaked into training data, rewards recall rather than search and analysis. We introduce LiveSearch, a live benchmark that stores each question as executable verifier code: a typed program of calls to a professional financial data service, followed by a declarative extractor. The question is frozen, while its gold answer is determined by executing the program against professional financial data at evaluation time, and a daily job re-executes it with no human or language model in the loop. A memorized answer is thus likely outdated, and a model must reach the current one through tools and analysis. Construction is equally automatic: a language model only verbalizes programs enumerated from real tool responses and never chooses an answer. Under general web search, six contemporary tool-calling models reach 70.9% to 76.7% answer accuracy. Over three consecutive days, 70% of served questions change their gold value, and even under tolerance-aware matching, a literally reused earlier snapshot fails on a majority of questions within a single day. Per-question tracking uncovers dynamic shifts in correctness masked by aggregate accuracy.
• Abstract（参考訳）: 金融では、価格、利率、開示が1日のみ保持されるため、最新の事実を取得することは金融業者の中核的な能力である。 しかし、ほとんどの金融ベンチマークはタイムラインを見落としている。 彼らは各回答をアノテーションのタイミングで修正するので、市場が動き、一度トレーニングデータにリークすると、検索や分析よりもリコールに報いる。 我々は,各質問を実行可能な検証コードとして格納するライブベンチマークであるLiveSearchを紹介した。 質問は凍結され、金の答えは評価時に専門家の財務データに対してプログラムを実行することで決定され、日々の仕事はループ内に人間や言語モデルなしで再実行される。 したがって、暗記された答えは時代遅れになりそうで、モデルがツールや分析を通じて現在のものに到達する必要があります。 言語モデルは、実際のツール応答から列挙されたプログラムを動詞化するだけで、答えを決して選ばない。 一般的なウェブ検索では、6つの現代のツールコールモデルが70.9%から76.7%の精度で答えている。 3日間にわたって、提供された質問の70%は、金の価値を変え、耐久性を認識したマッチングでさえ、文字通り再利用された以前のスナップショットは、1日でほとんどの質問で失敗する。 問合せごとの追跡は、集計精度によって隠蔽された正しさの動的シフトを明らかにする。

関連論文リスト

• FinHopper: A Progressive Multi-Hop Benchmark for Complex Financial Agents with Step-wise Evaluation [12.347279851586146]
  フィンホッパー(FinHopper)は、1ホップから6ホップまでの推論深度を制御する複雑な金融エージェントのベンチマークである。 1ホップから6ホップまでの推論深度を制御する複雑な金融エージェントのベンチマークであるFinHopperを紹介する。
  論文  参考訳（メタデータ） (2026-10-19T08:57:07Z)
• MoCA-Agent: A Market-of-Claims Code Agent for Financial and Numerical Reasoning [47.751319722749116]
  textscMOCA-Agentは、フリーフォームのマルチエージェントの議論をクレームレベルの検証に置き換える、有望なコードエージェントである。 このシステムは、各質問をタイプされた原子的クレームに分解し、専門家のトレーダーにそれらのクレームの売買を依頼し、信頼度の高い受け入れ/拒絶決定へと命令をクリアする。 コード認識検証器は、実行、構造整合性、一般的な金銭的推論エラーのプログラムをチェックする。
  論文  参考訳（メタデータ） (2026-06-10T00:45:39Z)
• FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation [65.04104723843264]
  ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。 FinDERは、ドメインの専門家による検索関連証拠の注釈付けに重点を置いており、5,703のクエリ・エビデンス・アンサー・トリプルを提供している。 大きなコーパスから関連する情報を取得するためにモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。
  論文  参考訳（メタデータ） (2025-04-22T11:30:13Z)
• SEC-QA: A Systematic Evaluation Corpus for Financial QA [12.279234447220155]
  既存のデータセットは、多くの場合、サイズ、コンテキスト、実用的なアプリケーションとの関連性によって制約される。 2つの重要な特徴を持つ継続的データセット生成フレームワークであるSEC-QAを提案する。 本稿では,複雑な情報検索と定量的推論パイプラインの実行能力を向上させるプログラム・オブ・思想に基づくQAシステムを提案する。
  論文  参考訳（メタデータ） (2024-06-20T15:12:41Z)
• A Systematic Review of Automated Query Reformulations in Source Code Search [12.234169944475537]
  我々は,2,970の候補研究から,問合せの改定に関する70の研究を選定した。 本稿では,検索クエリの改定における研究状況を改善するためのベストプラクティスと今後の機会について論じる。
  論文  参考訳（メタデータ） (2021-08-22T05:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。