Fugu-MT 論文翻訳(概要): BlueFin: Benchmarking LLM Agents on Financial Spreadsheets

論文の概要: BlueFin: Benchmarking LLM Agents on Financial Spreadsheets

arxiv url: http://arxiv.org/abs/2605.30907v1
Date: Fri, 29 May 2026 06:43:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-01 20:56:50.431119
Title: BlueFin: Benchmarking LLM Agents on Financial Spreadsheets
Title（参考訳）: BlueFin: LLMエージェントを財務スプレッドシートでベンチマーク
Abstract要約: 本稿では,大規模言語モデル (LLM) エージェントをスプレッドシート上での合成,操作,理解を行うためのベンチマークBlueFinを提案する。コントリビューションには、スプレッドシートタスクの3つのカテゴリにわたるサンプルのデータセット、オープンソースのハーネスとエージェント評価フレームワーク、ベンチマーク上の既存のフロンティアモデルのパフォーマンスの評価が含まれている。
参考スコア（独自算出の注目度）: 7.613803265735229
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We present BlueFin, a benchmark that tasks large language model (LLM) agents with synthesis, manipulation, and comprehension tasks over spreadsheet workbooks in the professional finance domain. Though estimates of the global population of paying users of spreadsheet software range in the hundreds of millions -- an order of magnitude more than the estimated global population of professional developers -- comparatively fewer resources have been devoted to exploring and expanding LLM capabilities in the spreadsheet domain, with fewer still dedicated to mirroring real occupational tasks encountered by those in professional finance roles. In response, we curate a set of 131 challenging, complex tasks with real-world relevance in the domain, containing 3,225 granular rubric criteria; notably, our rubric criteria and LM judge evaluations are validated by a team of expert human annotators, resulting in high-quality, granular evaluations of complex tasks that are difficult to verify programmatically but can be reliably evaluated by an LM judge agent. Our judge achieves parity with expert consensus ($α=0.826$) with a macro-F1 score of 0.839. Frontier LLMs demonstrate poor performance on the challenging benchmark, with the strongest LLMs achieving less than 50\% average scores across tasks -- models exhibit particular weaknesses in dynamic correctness. Our contributions include a dataset of examples across three categories of spreadsheet tasks, an open source harness and agentic evaluation framework, and a characterization of existing frontier models' performance on our benchmark.
Abstract（参考訳）: プロフェッショナルファイナンスドメインのスプレッドシートワークブック上で,大規模言語モデル(LLM)エージェントを合成,操作,理解タスクで処理するベンチマークであるBlueFinを提案する。表計算ソフトの有料利用者の全世界人口は、プロの開発者の全世界人口より桁違いに多いが、表計算ソフトの分野におけるLLM能力の探索と拡大に費やされているリソースは比較的少なく、なおもプロの財務担当者が遭遇する実際の業務タスクのミラーリングに費やしたリソースは少ない。そこで,本研究では,3,225の粒状潤滑基準を含む領域内の実世界の関連性を考慮した,難易度の高い131個の複雑なタスクの集合を,専門家のアノテータチームによって検証し,プログラム的に検証することが困難な複雑なタスクの高品質できめ細かい評価をLM判定エージェントにより確実に評価する。我々の審査員は、マクロF1スコアが0.839のエキスパートコンセンサス(α=0.826$)と同等である。最強のLDMはタスク全体の平均スコアが50倍未満である -- モデルでは、ダイナミックな正確性に特に弱点がある。コントリビューションには、スプレッドシートタスクの3つのカテゴリにわたるサンプルのデータセット、オープンソースのハーネスとエージェント評価フレームワーク、ベンチマーク上の既存のフロンティアモデルのパフォーマンスの評価が含まれている。

関連論文リスト

WorkstreamBench: Evaluating LLM Agents on End-to-End Spreadsheet Tasks in Finance [4.787072076364137]
フロンティアAIラボは、スプレッドシート全体をスクラッチから構築できるエージェントを開発した。これは金融において特に重要であり、金融モデリング、予測、シナリオ分析といった中核がスプレッドシートを通じて一般的に行われている。既存のスプレッドシートベンチマークでは、この高度な能力は測定されず、代わりに質問回答や単一形式の編集に重点を置いている。
論文参考訳（メタデータ） (2026-05-21T16:06:34Z)
ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文参考訳（メタデータ） (2026-05-11T16:20:51Z)
FrontierFinance: A Long-Horizon Computer-Use Benchmark of Real-World Financial Tasks [4.444378412245679]
5つのコアファイナンスモデルにわたる25の複雑な金融モデリングタスクのベンチマークであるFrontierFinanceを紹介します。我々は、人間の専門家にタスクを定義し、ルーブリックを作成し、LCMを格付けし、タスク自体を人間のベースラインとして実行させます。私たちの人間の専門家はどちらも平均して高いスコアを受け取り、現在の最先端システムよりもクライアント対応のアウトプットを提供する可能性が高いことを実証しています。
論文参考訳（メタデータ） (2026-04-07T14:15:45Z)
FinLFQA: Evaluating Attributed Text Generation of LLMs in Financial Long-Form Question Answering [57.43420753842626]
FinLFQAは、複雑な財務問題に対する長文の回答を生成するための大規模言語モデルの能力を評価するために設計されたベンチマークである。回答品質と属性品質の両方をカバーする自動評価フレームワークを提供する。
論文参考訳（メタデータ） (2025-10-07T20:06:15Z)
FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
論文参考訳（メタデータ） (2025-08-07T22:15:22Z)
Large Language Models for Spreadsheets: Benchmarking Progress and Evaluating Performance with FLARE [0.0]
大規模言語モデル(LLM)は、様々な領域にまたがるいくつかの重要な機能を示している。本研究では,スプレッドシート機能の実行において,LLMをリードする性能を評価するためのベンチマークフレームワークを提案する。
論文参考訳（メタデータ） (2025-06-19T03:47:38Z)
IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文参考訳（メタデータ） (2025-05-23T09:37:52Z)
AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。 AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
論文参考訳（メタデータ） (2025-05-22T17:31:10Z)
FinMaster: A Holistic Benchmark for Mastering Full-Pipeline Financial Workflows with LLMs [15.230256296815565]
FinMasterは、金融リテラシー、会計、監査、コンサルティングにおける大規模言語モデル(LLM)の機能を評価するために設計されたベンチマークである。 FinMasterは、FinSim、FinSuite、FinEvalの3つの主要なモジュールで構成されている。実験では、財務的な推論において重要な能力のギャップが示され、精度は基本的なタスクで90%以上から、複雑なシナリオではわずか37%に低下した。
論文参考訳（メタデータ） (2025-05-18T11:47:55Z)
Alpha Excel Benchmark [0.0]
本研究では,FMWC(Financial Modeling World Cup)Excelコンペティションから得られた課題を用いて,LLM(Large Language Models)を評価するための新しいベンチマークを提案する。本研究は,認識タスクの強みを示すが,複雑な数値推論に苦しむモデルを用いて,様々な課題カテゴリにおける性能の有意な変化を示した。
論文参考訳（メタデータ） (2025-05-07T03:56:26Z)
Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
論文参考訳（メタデータ） (2024-06-05T20:19:09Z)
PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。我々はLLaMAを細調整してFinMAを提案する。我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
論文参考訳（メタデータ） (2023-06-08T14:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。