論文の概要: Testing-Driven Reliability Audit of Trajectory-Based Early Outcome Prediction for LLM Agents: Target-Specific Calibration Transfer Persists Within a Single Benchmark

• arxiv url: http://arxiv.org/abs/2609.25647v1
• Date: Tue, 22 Sep 2026 03:57:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.20126
• Title: Testing-Driven Reliability Audit of Trajectory-Based Early Outcome Prediction for LLM Agents: Target-Specific Calibration Transfer Persists Within a Single Benchmark
• Title（参考訳）: LLMエージェントの軌道ベース早期アウトカム予測の信頼性試験:単一ベンチマーク内での目標校正伝達パーシスト
• Abstract要約: 軌道に基づく早期結果の予測は、結果が十分に予測可能になったときにランを終了させることにより、エージェント評価に関連する費用を削減できる。 このような転送障害がエージェントシステムにまたがっているのか、あるいは特定のターゲットエージェント/ヘッドの組み合わせに集中しているのかは不明だ。 パブリックなSWE-bench Verified trajectoriesと凍結したデュアルヘッド早期アウト予測パイプラインを使用して、我々は、Left-one-agent-out calibration auditを実行した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting early outcomes based on trajectory can decrease the expenses associated with agent evaluation by terminating a run once the outcome becomes sufficiently predictable, assuming that the predictor's confidence is properly calibrated. Calibration is at risk when a predictor is applied to an agent on which it was never trained, but it is not known whether such transfer failures are broad across agent systems or concentrated in specific target agent/head combinations. Using public SWE-bench Verified trajectories and a frozen dual-head early-outcome prediction pipeline, we ran a leave-one-agent-out calibration audit, a shared-predictor leave-two-agents-out control, oracle prior correction, and a robustness battery over training cohorts, task resampling, task halves, jackknife, and thresholds. Fixed-scaffold TerminalBench analysis served as a pre-registered boundary test. Broad same-predictor pairwise heterogeneity was not supported; the median pairwise corrected-gap differences were 0.0180 (SUCCESS head, 45 pairs) and 0.0385 (FAILURE head, 35 pairs), and the pre-registered heterogeneity criterion was not met on either head. Two specific combinations, gpt-5-mini/SUCCESS and claude-opus-4.6/FAILURE, showed persistent calibration-transfer errors (median corrected gaps 0.1377 and 0.1107) without a sign reversal under any frozen control. TerminalBench did not establish cross-benchmark replication: the success target produced zero decisions (INDETERMINATE), and the failure target did not satisfy the pre-registered persistence criterion. Therefore, a strong target-specific calibration-transfer error can exist within one frozen environment, but the evidence does not establish that the error is intrinsic to the model or general across benchmarks.
• Abstract（参考訳）: トラジェクトリに基づく早期結果の予測は、予測者の信頼度が適切に調整されていると仮定して、十分な予測が可能になったときに実行を終了させることにより、エージェント評価に関連するコストを削減できる。 予測器がトレーニングされていないエージェントに適用された場合、校正は危険にさらされるが、そのような転送障害がエージェントシステムにまたがっているか、特定のターゲットエージェント/ヘッドの組み合わせに集中しているかは分かっていない。 パブリックなSWE-bench Verified trajectoriesと凍結したデュアルヘッド早期アウト予測パイプラインを使用して、Left-one-agent-out calibration audit、共有予測のLeft-two-agents-out Control、oracle pre correct、トレーニングコホート、タスクリサンプリング、タスクハーフ、ジャックナイフ、しきい値に対する堅牢性バッテリを実行しました。 固定スキャフォールド・ターミナルベンチ解析は、予め登録された境界試験として機能した。 正正解ギャップの中央値は0.0180 (SUCCESS head, 45 pairs) と 0.0385 (FAILURE head, 35 pairs) であった。 gpt-5-mini/SUCCESS と claude-opus-4.6/FAILURE の2つの特定の組み合わせは、凍結制御下での符号反転を伴わずにキャリブレーション・トランスファーエラー(中間補正ギャップ 0.1377 と 0.1107 )を示した。 TerminalBenchはクロスベンチマークレプリケーションを確立しておらず、成功目標がゼロ決定(INDETERMINATE)を生成し、失敗目標が事前登録された永続化基準を満たしていなかった。 したがって、1つの凍結環境内には強力な目標固有キャリブレーション・トランスファー誤差が存在するが、この誤差がベンチマーク全体にわたってモデルや一般に固有のものであるという証拠は証明されていない。

関連論文リスト

• Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
  オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。 我々は,実行前の基準下での両使用量を評価した。 検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
  論文  参考訳（メタデータ） (2026-09-17T09:17:00Z)
• CARD: Calibration via Agreement in Reverse Diffusion for Out-of-Domain MRI Segmentation [14.844162865265673]
  そこで我々は,不一致の時間的集合を全クラスにわたって1ピクセルあたりの温度場にマッピングし,セグメント化ができない間に信頼度が変化するようにCARDを提案する。 心臓、前立腺、脳のMRIシフトによって、CARDは各設定において最強のベースラインと比較した場合、49の45のキャリブレーション誤差を低下させる。
  論文  参考訳（メタデータ） (2026-08-26T07:23:08Z)
• Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
  本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。 構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。 RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
  論文  参考訳（メタデータ） (2026-08-03T11:07:37Z)
• Anytime-Valid Confirmation of Label-Shift Corrections [0.6599344783327052]
  小規模の科学的展開では、ラベル付けされた目標結果が、信頼できるシフト推定には不足している可能性がある。 本研究では,ラベルシフト補正予測とソース予測との観測確率比が条件付きe値であることを示す。
  論文  参考訳（メタデータ） (2026-06-12T02:03:21Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。