論文の概要: Evaluating Exact Output and Checkpoint-State Prediction in Real Programs
- arxiv url: http://arxiv.org/abs/2610.11889v1
- Date: Thu, 08 Oct 2026 12:59:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.03422
- Title: Evaluating Exact Output and Checkpoint-State Prediction in Real Programs
- Title（参考訳）: 実プログラムにおける実行出力とチェックポイント状態予測の評価
- Abstract要約: ベンチマークには371のPythonとC++プログラムから400のケースが含まれている。
11,200件の予測のうち、11,151件が段階的な反応を示した。
推論可能な設定は、完了した応答に対して33.1から55.2ポイントの差でオフセットを上回っている。
- 参考スコア（独自算出の注目度）: 13.471405204780497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a benchmark for predicting final output and checkpoint state from source and input alone. It extends CRUXEval-style output prediction with paired shorter- and longer-trace inputs and checkpoints inside and after a loop. The benchmark contains 400 cases from 371 Python and C++ programs, evaluated under seven settings from four model families without tools or code execution. Of 11,200 planned predictions, 11,151 produced gradable responses. Reasoning-enabled settings outperform their off counterparts by 33.1 to 55.2 percentage points on completed responses. The strongest setting scores 93.0% on shorter-trace final output, 77.0% on longer-trace final output, and 65.5% and 63.5% on the two state tasks; these scores also hold when missing responses count as wrong. Across 2,397 matched Python comparisons with identical source, changing to the longer-trace input yields 528 correct-to-wrong changes and 147 reversals. Source-clustered analyses preserve this accuracy gap, while adjusted Python models give no evidence of a positive incremental association between cumulative state load and error. Changed inputs and checkpoint tasks alter several factors together, so the gaps do not isolate trace length or an internal state-tracking mechanism. The benchmark exposes errors hidden by short-output scores alone.
- Abstract（参考訳）: ソースとインプットのみから最終的な出力とチェックポイント状態を予測するためのベンチマークを示す。
CRUXEvalスタイルの出力予測を拡張し、ループ内およびループ後において、短いトレースと長いトレースの入力とチェックポイントをペアリングする。
ベンチマークには371のPythonとC++プログラムから400のケースが含まれており、ツールやコード実行なしで4つのモデルファミリから7つの設定で評価されている。
11,200件の予測のうち、11,151件が段階的な反応を示した。
推論可能な設定は、完了した応答に対して33.1から55.2ポイントの差でオフセットを上回っている。
最強のスコアは、ショートトラックのファイナルアウトプットで93.0%、ロングトラックの最終アウトプットで77.0%、州2つのタスクで65.5%と63.5%である。
2,397以上のPython比較は、同じソースと一致し、長いトレース入力に切り替えると、528の正解変更と147の逆転が得られる。
ソースクラスタ解析はこの精度のギャップを保ち、調整されたPythonモデルは累積状態負荷とエラーの間に正の漸進的相関を示す証拠を与えない。
入力の変化とチェックポイントタスクは、いくつかの要因を同時に変更するため、ギャップはトレースの長さや内部状態追跡機構を分離しない。
ベンチマークはショートアウトスコアだけで隠れたエラーを公開する。
関連論文リスト
- ProtocolMatch: Protocol-Dependent Model Selection for Scientific Dynamics Forecasting [46.122203287541005]
プロトコルに依存したモデル選択を定式化し、計算マッチング、バリデーション選択、フェール保存評価フレームワークであるProtocolMatchを導入する。
駆動量子スピン力学では、3つの独立に生成されたデータセットに対して、繰り返し、パッチ付きアテンション、因果アテンション、低ランク線形予測器を比較する。
論文 参考訳（メタデータ） (2026-10-07T15:23:27Z) - CASE: Cost-Aware Stopping for Efficient Long-Video Agents [47.793956973688616]
長ビデオエージェントのためのプラグイン終端フレームワークであるCASEを提案する。
Caseは、この決定をポリシー付きシーケンシャル・ストップとして表している。
軽量なリッジ回帰器は、この決定ギャップを学び、STOP/E決定を生成する。
論文 参考訳（メタデータ） (2026-10-04T17:35:33Z) - Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。
オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
論文 参考訳（メタデータ） (2026-10-01T05:57:14Z) - Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳（メタデータ） (2026-09-30T16:40:22Z) - Correct Tests Are Not Enough: Measuring and Training Oracle Conversion in Specification-Based Test Generation [14.44743150931186]
自然言語仕様からテストを生成するには、異常な振る舞いを公開する入力と、正しい期待出力の両方が必要である。
我々は,この相互作用を,実行可能報酬分解とスイートレベルのオラクル変換測定を通じて研究する。
生成器は1つの応答で5つの入出力試験を共同で出力する。
論文 参考訳（メタデータ） (2026-09-05T04:56:31Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - Accuracy Hides How Language Models Fail: Measuring Failure States Under Matched Output Budgets [0.0]
言語モデルベンチマークは、2つの異なる測定質問を1つの精度スコアに分解する。
スコアラーに依存しない実行証拠を分離する2層評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-27T11:04:17Z) - Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
言語モデルは、進行中の計算の質を読み取ることができるか?
外部介入は、その読み出しをより良い結果に変えることができるか?
凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
論文 参考訳（メタデータ） (2026-07-20T22:40:36Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。