論文の概要: FinEvo-Bench: A Longitudinal Benchmark for Self-Evolving Agents in Professional Financial Workflows
- arxiv url: http://arxiv.org/abs/2608.06144v1
- Date: Thu, 06 Aug 2026 15:14:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.940238
- Title: FinEvo-Bench: A Longitudinal Benchmark for Self-Evolving Agents in Professional Financial Workflows
- Title（参考訳）: FinEvo-Bench: プロフェッショナルファイナンシャルワークフローにおけるセルフ進化エージェントの経時的ベンチマーク
- Abstract要約: FinEvo-Benchは、120のリアルタイム・ケース・グラウンドのタスクと、6つの金融ドメインに20のビジネス・シーンを持つ縦断ベンチマークである。
同じQwen3.7-Maxバックボーンと3つの独立シャッフルされたグローバルなタスクストリームを用いて、4つの自己進化型エージェント足場を比較した。
レタは最も進化したスコア(91.65)と最小のコンプライアンス問題(タスク当たり0.09)を達成し、コーデックスは最大の自己進化ゲイン(+19.37)を達成した。
- 参考スコア（独自算出の注目度）: 23.12877352048399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most agent benchmarks evaluate tasks independently and cannot measure whether experience from one task helps with later tasks. Existing self-evolution benchmarks do not jointly cover professional workflows, open-ended deliverables, and multi-aspect evaluation. We introduce FinEvo-Bench, a longitudinal benchmark with 120 real-case-grounded tasks, 20 business scenes across six financial domains. Institution-provided professional procedures define the required operations and constraints. Eligible institution-provided and publicly documented cases supply the task facts. Each scene contains six related but substantively distinct cases that share a professional procedure and a manually reviewed rubric for task quality and financial compliance. We compare four self-evolving agent scaffolds using the same Qwen3.7-Max backbone and three independently shuffled, globally interleaved task streams. Paired non-evolving controls estimate each scaffold's self-evolution gain from retained experience, while an independent Claude Code scoring agent backed by Claude Opus 4.6 evaluates all outputs. Letta achieves the highest evolved score (91.65) and fewest compliance issues (0.09 per task); Codex achieves the largest self-evolution gain (+19.37). Across scaffolds, the evolving condition raises scores by 9.33-19.37 points and reduces compliance issues by 0.12-0.44 per task. Paired score gains at within-scene ranks 4-6 exceed those at ranks 1-3 by 6.10-8.70 points. In Claude Code, skill-only evolution produces higher task quality and fewer compliance issues than memory-only and combined memory-skill evolution. Across all four scaffolds, rubric feedback also yields higher scores and fewer compliance issues than reference-answer feedback. FinEvo-Bench measures both professional performance and self-evolution ability: how effectively an agent turns prior experience into later improvement.
- Abstract（参考訳）: ほとんどのエージェントベンチマークはタスクを独立して評価し、あるタスクの経験が後のタスクに役立つかどうかを測定することができない。
既存の自己進化ベンチマークは、プロフェッショナルワークフロー、オープンエンドの成果物、マルチアスペクト評価を共同でカバーしていない。
我々はFinEvo-Benchを紹介した。FinEvo-Benchは、120の実例付きタスクと6つの金融ドメインにわたる20のビジネスシーンを備えた縦断ベンチマークである。
機関が提供するプロの手続きは、必要な操作と制約を定義します。
機関が認可し、公文書化された事件は、その業務事実を提供する。
各シーンには、プロの手順を共有する6つの関連するが、実質的に異なるケースと、タスクの品質と財務上のコンプライアンスを手作業でレビューするルーリックが含まれている。
同じQwen3.7-Maxバックボーンと3つの独立シャッフルされたグローバルなタスクストリームを用いて、4つの自己進化型エージェント足場を比較した。
Paired non-evolving Controlは、各足場が保持した経験から自己進化的なゲインを推定する一方、Claude Opus 4.6が支援する独立したClaude Codeスコアエージェントは、すべてのアウトプットを評価する。
レッタは最も進化したスコア(91.65)と最小のコンプライアンス問題(タスク当たり0.09)を達成し、コーデックスは最大の自己進化ゲイン(+19.37)を達成している。
足場全体で、進化状態は9.33-19.37ポイントのスコアを上げ、1タスクあたりのコンプライアンス問題を0.12-0.44に減らす。
ステージ内ランクは4-6で、順位は1-3で6.10-8.70ポイントを超えている。
Claude Codeでは、スキルのみの進化は、メモリのみの進化と組み合わせたメモリスキルの進化よりも高いタスク品質とコンプライアンスの問題を生み出す。
4つの足場全体にわたって、ルーブリックフィードバックは、参照-回答フィードバックよりもスコアが高く、コンプライアンスの問題が少ない。
FinEvo-Benchは、プロフェッショナルのパフォーマンスと自己進化能力の両方を測定します。
関連論文リスト
- Efficient Test-Time Adaptation through Human-AI Interaction [112.5131603022122]
我々は,ヒト-エージェント間相互作用(TAHI)によるテスト時間適応を提案する。
エージェントを2つの高ユーティリティドメイン(書き込みと視覚的創造)の30人に適応させ、合計600のタスクをこなします。
エージェントは10タスク以内の単独作業の成功率を4.5-20.9%向上させる。
論文 参考訳（メタデータ） (2026-09-03T17:33:18Z) - TRACE: A Self-Evolving Skill Bank for Consistent, Limit-Aware LLM Agents [41.82249291285459]
TRACEは、モデルウェイトを変更することなく、スキルベースのエージェントの行動知識を反復的に改善する。
GPT-5.5では、TRACEは一貫性(Pass3)を34.6ポイント改善し、59.9%から94.5%に改善した。
これらの結果から,TRACEは高モデルポテンシャルを安定かつ一貫した性能向上に変換することを示した。
論文 参考訳（メタデータ） (2026-08-24T04:36:03Z) - GDPevo: Evaluating Agent Self-Evolution on Real Business Tasks [18.870142584352703]
自己進化は、エージェントの永続状態を以前の経験から更新し、関連するタスクを解決するために再利用する。
GDPevoは、GDP関連の企業で開発された進化ネイティブなベンチマークである。
GDPevoはCRM、ERP、金融、医療、法律、データ中心主義にまたがっている。
論文 参考訳（メタデータ） (2026-08-04T14:51:56Z) - APEX: Adaptive Principle EXtraction A Three-Layer Self-Evolution Framework for Production AI Agents [0.0]
AIエージェントの自己改善は、重要な研究フロンティアとして現れている。
同時に進化する3層共進化フレームワークであるAPEXを提案する。
その結果,多次元共進化は単一軸ハーネス最適化を著しく上回ることがわかった。
論文 参考訳（メタデータ） (2026-06-13T15:47:27Z) - CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows? [150.84850629123287]
現実的な医療業務のエンドツーエンドの自動化は、現在のベンチマークで不足している3つの機能を強調します。
$-Benchは3つのドメインにわたる長期医療のベンチマークである。
30以上のエージェントハーネス/モデル構成で、最高のエージェントはタスクの28.0%しか解決せず、厳格なパス3では20%をクリアし、単一のセッションですべてのタスクを実行するとパフォーマンスは3.8%に低下する。
論文 参考訳（メタデータ） (2026-05-15T22:34:31Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳（メタデータ） (2026-05-11T00:04:19Z) - SkillFlow:Benchmarking Lifelong Skill Discovery and Evolution for Autonomous Agents [33.117459452689964]
SkillFlowは、20家族にわたる166のタスクのベンチマークで、各家族内のタスク構成がドメインに依存しない実行フロー(DAEF)に従う。
エージェントはAgentic Lifelong Learningプロトコルで評価され、スキルなしで開始し、各ファミリー内でタスクをシーケンシャルに解決し、トラジェクトリおよびルーリック駆動のスキルパッチを通じてレッスンを外部化し、更新されたライブラリを前進させる。
論文 参考訳（メタデータ） (2026-04-19T07:51:46Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces [17.202580606345666]
生産性タスクを自動化するために、大規模言語モデル(LLM)エージェントがますますデプロイされる。
既存のベンチマークは単純化された環境に依存しており、現実的なマルチサービス環境をキャプチャできない。
我々は,現実的な生産性設定におけるLCMエージェントの評価と改善のためのベンチマークであるClawsBenchを紹介する。
論文 参考訳（メタデータ） (2026-04-06T21:09:06Z) - ProactiveMobile: A Comprehensive Benchmark for Boosting Proactive Intelligence on Mobile Devices [17.39388308538324]
本稿では,プロアクティブなモバイルエージェント開発のためのベンチマークであるProactiveMobileを紹介する。
プロアクティブタスクは、デバイス上のコンテキスト信号の4次元にわたる潜在ユーザ意図を推測するものとして形式化されている。
このベンチマークは成功率19.15%で、実験ではo1 (15.71%) と GPT-5 (7.39%) を上回っている。
論文 参考訳（メタデータ） (2026-02-25T12:32:37Z) - Large Language Model Agents Are Not Always Faithful Self-Evolvers [84.08646612111092]
自己進化型大規模言語モデル(LLM)エージェントは、過去の経験を蓄積し再利用することによって継続的に改善される。
本稿では,経験の忠実さ,エージェントの判断が与えられた経験に因果的依存を初めて体系的に調査する。
論文 参考訳（メタデータ） (2026-01-30T01:05:15Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。