論文の概要: Measurement Boundaries in LLM Financial Agent Evaluation: Fixed-Tape Execution and Multi-Defect Auditing

• arxiv url: http://arxiv.org/abs/2609.32379v1
• Date: Sat, 26 Sep 2026 08:54:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:19:46.633191
• Title: Measurement Boundaries in LLM Financial Agent Evaluation: Fixed-Tape Execution and Multi-Defect Auditing
• Title（参考訳）: LLMファイナンシャルエージェント評価における計測境界:固定テープ実行とマルチ欠陥監査
• Abstract要約: 本研究では,金融エージェントの評価において,実行性能の解釈と監査スコアの2つの限界について検討する。 StudyAでは、3つの合成セッティング上での独立実行とストレスのある実行を比較することで、実行ルールと新しいモデル応答とポートフォリオフィードバックが混在する。 StudyBでは,従来のタスクをゼロ,1,2の欠陥タスクに,明示的なマルチラベルプロンプトで置き換えることによって,1から2の欠陥からの目標違反リコールの減少は,監査と情報源の組み合わせの5つのうち5つにおいて肯定的である。
• 参考スコア（独自算出の注目度）: 0.0635655952373977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What controls are needed to interpret execution performance and audit scores in LLM agent evaluations? We study two limits on these interpretations in a financial agent harness. In Study~A, comparing independent runs under idealized and stressed execution on three synthetic settings that share one 24-day upward phase mixes the execution rule with fresh model responses and portfolio feedback: the parsed decision paths agree in only $19.8\%$ of $450$ pairs. Replaying each stored response tape through both execution destinations gives a narrower result. Conditional on those responses, stressed execution changes total return by $-0.0170$ (95\% interval $[-0.0230,-0.0117]$), or $10.4\%$ of the idealized baseline, and ten seed clusters do not resolve the model ranking. Study~B corrects an incomplete answer key and replaces legacy tasks with matched zero-, one-, and two-defect tasks under an explicit multi-label prompt. The drop in target violation recall from one to two defects is positive in five of six combinations of auditor and source (median $0.267$), with three surviving Holm correction. Yet the auditor that includes both target labels most often has micro-precision $0.149$, emits findings on $98/100$ zero-defect tasks, and returns the exact dual-defect set in only $21/100$ cases. Target recall by itself therefore gives a poor account of audit quality on this construction. The studies address different limits: what an execution comparison estimates, and what target recall captures. Together, they show how fixed conditions and diagnostic controls bound the claims a score can support.
• Abstract（参考訳）: LLMエージェント評価における実行性能と監査スコアの解釈には,どのような制御が必要か? 金融エージェントハーネスにおける解釈の2つの限界について検討する。 Study~Aでは、24日間の上昇フェーズを1つ共有する3つの合成設定における、理想化された実行と強調された実行の比較は、実行ルールと新鮮なモデル応答とポートフォリオフィードバックを混合する。 それぞれの格納された応答テープを両方の実行先で再生すると、より狭い結果が得られる。 これらの応答を条件として、ストレスト実行による全リターンは、$-0.0170$ (95\% interval $[-0.0230,-0.0117]$)、または理想化されたベースラインの10.4\%$であり、10個のシードクラスタはモデルランキングを解決しない。 Study~B は不完全な応答キーを訂正し、明示的なマルチラベルプロンプトの下で、旧来のタスクを0、1、および2の欠陥タスクに置き換える。 1つから2つの欠陥からの目標違反リコールの減少は、監査役とソースの6つの組み合わせのうち5つ(現在の0.267ドル)で肯定的であり、Holmの修正が3つ残っている。 しかし、両方のターゲットラベルを含む監査役は、通常0.149ドルのマイクロ精度を持ち、980/100ドルのゼロ欠陥タスクの発見を出力し、正確なデュアル欠陥セットを21/100ドルのケースで返却する。 そのため、それ自体によるリコールは、この構造に対する監査品質の低さを物語っている。 これらの研究は、実行比較が見積もるもの、ターゲットのリコールがキャプチャするものなど、さまざまな制限に対処する。 それらは、固定条件と診断制御が、スコアがサポートするクレームとどのように結びつくかを示す。

関連論文リスト

• Sharp Limits for Honest Uncertainty in Hard-Budget Repeated Evaluation [10.008162829029862]
  繰り返し評価は、狭義の不確実性を証明するためにまだ複製を必要としながら、ベンチマークスコアを正確に推定することができる。 私たちは、その要求を、ハード予算$(M+t)K$の下で、タスク毎に$L$のバイナリパスを持つ$M$タスクの固定グリッド上で特徴付けます。 固定された$L ge 3$と$0 le 1/12$の場合、最悪の純粋なコホート上での最適の期待幅は、すべてのタスクが観測されたときに$_,L([M(t+1)]-1/2)$で、$_,L([M(t+1)]-1/2)である。
  論文  参考訳（メタデータ） (2026-09-24T07:15:07Z)
• Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
  私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
  論文  参考訳（メタデータ） (2026-09-23T10:53:01Z)
• CausalVerify: An Execution-Grounded Benchmark for LLM Causal Inference Workflows [2.5274989947146644]
  LLMの既存の因果推論ベンチマークは、主にメソッド記述または生成されたコードが実行されるかどうかをスコアする。 ClausalVerifyは、構造的計量的因果推定に対するこの検証問題を研究している。 この論文は259の経済学論文と、差分差分、事象研究、機器変数、回帰不連続設計のためのCSVを実現する100の固定シード合成シナリオを組み合わせている。
  論文  参考訳（メタデータ） (2026-09-07T19:56:29Z)
• Beyond Local Accuracy: A Protocol-Level Identifiability Audit for Controlled LLM Reasoning Evaluation [6.047519836191728]
  有限行動ポリシークラス上でプロトコルレベルの識別可能性監査を形式化する。 監査はモデルコールをゼロにし、診断ケースを解決します。 このケースは、モデル推論の前に、どのように評価設計の妥当性を構造的に確認できるかを示す。
  論文  参考訳（メタデータ） (2026-08-13T14:49:47Z)
• Test-time reasoning effort and unauthorized tool use in language-model agents: a prespecified equivalence study [1.6787220460106658]
  ツールコールを通じて実行される言語モデルエージェントは、各ロールが実行する操作を制限するアクセス制御ポリシーの下で動作します。 TRIO-20の14の確認シナリオにおいて, GPT-5.6内の推論の努力(低, 最大)が異なる。 840の軌道と2つのモデル層にまたがって、認可されていないツールコールは発生しなかった。
  論文  参考訳（メタデータ） (2026-08-04T06:01:14Z)
• Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
  emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。 EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
  論文  参考訳（メタデータ） (2026-05-28T09:45:47Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。