論文の概要: CTE-Bench: Counterfactual Trace Evaluation for Stateful Software Simulators

• arxiv url: http://arxiv.org/abs/2609.36647v1
• Date: Tue, 29 Sep 2026 03:49:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 04:28:51.338267
• Title: CTE-Bench: Counterfactual Trace Evaluation for Stateful Software Simulators
• Title（参考訳）: CTE-Bench:ステートフルなソフトウェアシミュレータの事実上のトレース評価
• Abstract要約: CTE-Benchは、モデルがステートフルサービスの将来の振る舞いをどのように変更するかを予測する。 各シナリオは、モデルPythonサービスコード、介入前に観察された呼び出しとレスポンス、介入自体、40の固定された将来の呼び出しを提供する。 3つのメモリプロトコルは、モデルが正しい前のレスポンスを見るか、そのどれか、またはそれ自身の以前の予測を見るかを制御する。
• 参考スコア（独自算出の注目度）: 5.94231111588812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding agents change running software: they patch a service's code or overwrite its stored state, and then act on their own expectation of how the service will respond afterwards. A wrong expectation may surface only several calls later. Function-level code-execution benchmarks omit persistent service state, and agent benchmarks score the actions an agent takes or the final state it reaches. We introduce CTE-Bench, which measures whether a model can predict how an intervention changes a stateful service's future behavior, without asking it to choose actions. Each scenario gives the model Python service code, the calls and responses observed before the intervention, the intervention itself (a source edit or a state overwrite), and 40 fixed future calls; the model predicts every future response, and predictions are checked by executing the service. Three memory protocols control whether the model sees the correct earlier responses, none of them, or its own earlier predictions. CTE-Bench-Core-v1 contains 255 scenarios over six deterministic Python services, giving 10,200 predictions per model. The main score is effect-step value match (VM): exact response equality on the 2,476 future calls whose response the intervention changes. With correct earlier responses revealed, four API-hosted models (DeepSeek V4-Flash, Kimi K2.5, Qwen3.6-35B-A3B, and Claude Sonnet 4.6) reach 54.3%-61.5% effect-step VM. Hiding those responses lowers effect-step VM to 23.2%-28.9%; conditioning on self-generated predictions gives 24.8%-33.2%, and at most 1.2% of scenarios are predicted exactly end to end. Current models thus track intervention effects mainly when correct feedback is supplied, and their errors compound over a rollout. We release CTE-Bench-Core-v1 with its executable oracle, evaluation scripts, and an evaluation card mapping each claim to its protocol.
• Abstract（参考訳）: コーディングエージェントは、実行中のソフトウェアを変更する。サービスのコードにパッチを当てたり、ストアドステートを上書きした後、サービスがどのように応答するかを自身の期待で実行する。 間違った期待は後で数回しか表れません。 関数レベルのコード実行ベンチマークでは、永続的なサービス状態が省略され、エージェントベンチマークでは、エージェントが取得したアクションや到達した最終状態がスコアされる。 CTE-Benchは、モデルがステートフルサービスの将来的な振る舞いをどのように変化させるかを、アクションを選択することなく予測できるかどうかを測定する。 それぞれのシナリオは、モデルPythonサービスコード、介入前に観察された呼び出しとレスポンス、介入そのもの(ソース編集または状態上書き)、40の固定された将来の呼び出しを与えます。 3つのメモリプロトコルは、モデルが正しい前のレスポンスを見るか、そのどれか、またはそれ自身の以前の予測を見るかを制御する。 CTE-Bench-Core-v1は6つの決定論的Pythonサービスに対して255のシナリオを含み、1モデルあたり10,200の予測を提供する。 主なスコアはエフェクトステップ値マッチング(VM: effect-step value match)であり、介入が変化する2,476のコールに対する正確な応答等価性である。 4つのAPIホスト型モデル(DeepSeek V4-Flash、Kim K2.5、Qwen3.6-35B-A3B、Claude Sonnet 4.6)が54.3%-61.5%のエフェクトステップVMに到達した。 これらの応答を保留すると、エフェクトステップVMは23.2%-28.9%に低下し、自己生成予測の条件付けによって24.8%-33.2%が得られ、少なくとも1.2%のシナリオは、完全にエンドツーエンドに予測される。 したがって、現在のモデルは、正しいフィードバックが供給されたときに主に介入効果を追跡し、それらのエラーはロールアウトで複雑になる。 我々は,CTE-Bench-Core-v1を実行可能なオラクル,評価スクリプト,各クレームをプロトコルにマッピングする評価カードとともにリリースする。

関連論文リスト

• Recommendation World Models for Future-State Control [53.191633845200876]
  我々は、訓練されたランク付け者が将来の結果についての意思決定を支援する方法について研究する。 UA-TWM(UA-TWM)は,近傍のスレート動作を構成するユーティリティアンコールなワールドモデルインタフェースである。 本研究は,MovieLens-25MとKuaiRand-Pureにおける12の逐次バックボーン間の移動と,KuaiSimにおけるターゲット指向インタラクションの繰り返しを評価する。
  論文  参考訳（メタデータ） (2026-09-25T02:37:48Z)
• PhysAI-Bench: A Benchmark for LLM-Based Agentic Decision-Making in Autonomous UAV-Centric Physical AI [3.4551677376685017]
  既存のベンチマークでは、物理的な知覚、直感的な物理、具体的ナビゲーション、協調推論が評価されている。 この能力を評価するためのベンチマークである textitPhysAI-Bench を紹介する。 自動UAVミッションの会話トレースから自動的に抽出される10,178の標準化された決定インスタンスを含んでいる。
  論文  参考訳（メタデータ） (2026-09-20T15:14:45Z)
• Discriminative World Models for Web Agents [52.31107486410659]
  最近のWebエージェントは、テストタイムアクションの選択に世界モデルを使用し、候補アクションをサンプリングし、結果のWeb状態を予測し、ランキングモデルまたはプロセスリワードモデル(PRM)でランキングする。 予測状態マッチング(英: predict-state matching)は、予測された表現が真の結果状態と、代替行動によって到達した状態とを区別しなければならない訓練目的である。 提案手法は,WebPRMBench上でのPRMスタイルのアクションランキングを改善する。
  論文  参考訳（メタデータ） (2026-09-02T17:59:40Z)
• CivBench: A Long-Horizon Benchmark for Tool-Mediated Agents in Civilization VI [15.345634962043858]
  CivBenchは、ツールを介する環境で言語モデルエージェントを評価するためのオープンソースのベンチマークである。 単一のエピソードは300回以上のターンにまたがり、大規模なアクション空間上で数千のツールコールを発生させる。 CivBenchを使って、23の許容実行で4つのモデルファミリにまたがるエージェントの動作を特徴付ける。
  論文  参考訳（メタデータ） (2026-09-02T11:31:39Z)
• SpikeWorld: Fast-State Adaptation for Frozen Spiking World Models [0.0]
  ヘテロジニアスな感覚予測,セマンティクス,画像テキストバインディング,動作条件付きダイナミクスを共同で訓練した1.45MスパーススパイキングモデルであるSpikeWorldを紹介する。 共同最適化により、アクション次世代MSEは17.10%改善され、マルチモーダル予測、セマンティック精度、画像テキスト検索が改善された。
  論文  参考訳（メタデータ） (2026-08-07T18:57:06Z)
• Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
  Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。 Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。 500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
  論文  参考訳（メタデータ） (2026-08-01T18:25:00Z)
• MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents [50.27505102982638]
  本稿では,ツールコールエージェントのベンチマークおよび評価フレームワークであるMM-ToolSandBoxを紹介する。 このフレームワークは16のアプリケーションドメインで500以上のツールにまたがるステートフルな実行環境を提供する。 マルチイメージのマルチターンタスクをサポートしており、エージェントは実行可能ツールコールに徐々に視覚的な入力を入力しなければならない。
  論文  参考訳（メタデータ） (2026-07-13T17:13:09Z)
• SPORK: Self-Speculative Forking to Accelerate Agentic LLM Inference [6.978795233982147]
  SPORKは推測されたツールコールを早期にディスパッチし、残りのチェーン・オブ・ソート・デコードでその実行を重複させる。 SPORKは、推測されたツールコールを早期にディスパッチする、トレーニング不要のコントローラである。
  論文  参考訳（メタデータ） (2026-07-03T13:51:32Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)
• vla-eval: A Unified Evaluation Harness for Vision-Language-Action Models [58.633451339058986]
  VLAモデルは一般的に、各モデルリポジトリによって独立して維持されるベンチマークスクリプト毎に評価される。 本稿では、ベンチマーク実行からモデル推論を分離するオープンソースの評価ハーネスであるvla evalを紹介する。 完全な評価では、vla eval serveとvla eval runの2つのコマンドしか必要としない。
  論文  参考訳（メタデータ） (2026-03-14T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。