論文の概要: Knowledge or Calculator? Decomposing the Skill Premium in Verifiable Financial Agent Workflows
- arxiv url: http://arxiv.org/abs/2610.03564v1
- Date: Fri, 02 Oct 2026 16:44:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.48938
- Title: Knowledge or Calculator? Decomposing the Skill Premium in Verifiable Financial Agent Workflows
- Title（参考訳）: 知識・電卓 : 検証型金融エージェントワークフローにおけるスキルプレミアムの分解
- Abstract要約: FinSkillBenchはポートフォリオ構築、リスク管理、基本分析において12のサブタスクにまたがる2,603ポイントのタイムエピソードの評価スイートである。
キュレートされたスキルパッケージでは,平均スコアが+16.2ポイント(0.366～0.528)上昇するのに対し,単一のエピソード内で生成されたスキルは+0.5ポイント増加し,トークンやターンを多く消費する。
- 参考スコア（独自算出の注目度）: 1.9371675344367496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Financial AI agents must do more than retrieve facts: investment workflows require correct quantitative execution, reliable use of procedural resources, and auditable structured outputs. We introduce FinSkillBench, an evaluation suite of 2,603 point in time episodes across 12 subtasks in portfolio construction, risk management, and fundamental analysis, with hidden regenerable ground truth and task specific deterministic verifiers. Executing 17,820 episodes across 9 models and 3 resource conditions, the paired analysis across 8 models shows that curated skill packages raise mean scores by +16.2 points (0.366 to 0.528), whereas skills generated within a single episode add only +0.5 points while consuming more tokens and turns. We then decompose the curated premium by granting human authored procedural documents and executable domain tools separately: documents alone add +5.6 points, tools alone add +19.5 points, and their combination is subadditive. The premium is strongly workflow dependent: executable tools dominate numerically intensive workflows, documentation matters more when procedural or output schema guidance is the bottleneck, and interpretive tasks benefit from both. The effects are sign stable across 10 scoring variants and cluster bootstrap analyses, and an independently implemented second harness reproduces the directional pattern while showing that effect magnitudes depend on how tools and data are exposed. Overall, a measured "skill premium" is a property of the full model, resource, and harness system rather than of the underlying model alone.
- Abstract（参考訳）: 投資ワークフローには正確な量的実行、手続き的リソースの信頼性の使用、監査可能な構造化されたアウトプットが必要である。
ポートフォリオ構築、リスク管理、基本分析において、12のサブタスクにまたがる2,603ポイントのタイムエピソードの評価スイートであるFinSkillBenchを紹介し、隠れた生成可能な基底真理とタスク固有の決定論的検証を行う。
9つのモデルと3つのリソース条件で17,820エピソードを実行し、8つのモデルにまたがったペア分析では、キュレートされたスキルパッケージが平均スコアを+16.2ポイント(0.366から0.528)上げているのに対し、単一のエピソード内で生成されたスキルは+0.5ポイント増加し、より多くのトークンとターンを消費している。
文書のみに+5.6ポイント、ツールのみに+19.5ポイントを追加し、それらの組み合わせは副添加物である。
実行ツールが数値的に集約的なワークフローを支配し、手続き的あるいは出力的なスキーマガイダンスがボトルネックである場合、ドキュメントがより重要になります。
効果は10のスコアリング変種とクラスタブートストラップ分析で安定しており、独立して実装された第2のハーネスは、ツールやデータの公開方法によって効果の大きさが変わることを示しながら、方向パターンを再現する。
全体として、測定された「スキルプレミアム」は、基礎となるモデルのみではなく、完全なモデル、リソース、ハーネスシステムの特性である。
関連論文リスト
- Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills [9.077159743623076]
実行可能なエージェントアーティファクトとして、スキルと製品機能パッケージを評価するための、リポジトリネイティブフレームワーク。
ACESは、ターゲットスキルとなしのペアライブトライアルを実行し、6つのデフォルトランタイムメトリクスをグレードし、Skill Liftをレポートする。
この方法論のオープンソース実装はNVIDIA SkillEvaluatorで利用可能だ。
論文 参考訳（メタデータ） (2026-08-20T23:26:14Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - SQBench: A Benchmark for Evaluating Task Delivery by Language-Model Agents in Production-Oriented Workflows [0.0]
本稿では,言語モデルエージェントによる生産指向タスク配信評価のベンチマークであるSQBenchを紹介する。
SQBench v1.0には、L1アトミック機能、L2コンポジットスキル、L3ビジネスシナリオで構成された220の標準化されたタスクが含まれている。
Completion = 1, 113 (4.8%) の 2,348 結果のうち、検証不能な引用、不適切なリソース使用、フォーマット違反などのリスクのために、Strict Pass の基準が満たされない。
論文 参考訳（メタデータ） (2026-07-25T09:55:31Z) - SkillCorpus: Consolidating and Evaluating the Open Skill Ecosystem for Real-World LLM Agents [16.77727447235193]
SkillCorpusは、オープンスキルのエコシステムを集約し、キュレートし、マッチングし、評価するフレームワークです。
マルチステージパイプラインを通した821,000人のクロールスキルを、16クラスの分類と3つの品質面(実用性、堅牢性、安全性)によって構成された96,401のスキルにフィルタリングする。
我々は,3つのベンチマーク(SkillsBench,GDPVal,QwenClawBench),2つのハーネス,2つのオープンバックボーン(フロンティアロバストネスチェック)でエンドツーエンドを評価する。
論文 参考訳（メタデータ） (2026-07-17T01:55:17Z) - SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment [10.850946672552277]
スキル中心アセスメントのためのエンドツーエンドフレームワークであるSkillAuditを紹介します。
実用性、効率/コスト、安全性にまたがる包括的多次元評価レポートを生成する。
トップランクの現実世界のスキルパッケージをスキャンした結果、スキルの7%以上が危険な状態にあることがわかった。
論文 参考訳（メタデータ） (2026-06-21T17:40:05Z) - SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。
我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。
本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
論文 参考訳（メタデータ） (2026-06-10T01:11:50Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。
SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。
キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。
自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
論文 参考訳（メタデータ） (2026-02-13T07:06:06Z) - One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。
一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。
これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
論文 参考訳（メタデータ） (2025-10-30T06:08:27Z) - Tool-Augmented Reward Modeling [58.381678612409]
本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。
我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。
人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
論文 参考訳（メタデータ） (2023-10-02T09:47:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。