論文の概要: Chronicle: Cut-Point Replay for Regression Testing of LLM Agents

• arxiv url: http://arxiv.org/abs/2609.20625v1
• Date: Thu, 17 Sep 2026 16:09:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.367473
• Title: Chronicle: Cut-Point Replay for Regression Testing of LLM Agents
• Title（参考訳）: Chronicle: LLMエージェントの回帰テストのためのカットポイントリプレイ
• Abstract要約: 我々は,非決定論的境界で実行されるエージェントを不変エンベロープとして記録し,記録から再生するクロニクルを提示する。 その中心的な操作であるカットポイント・リプレイは、レコードから選択された境界のサブセットを提供し、新しいコードで生きた補完的なサブセットを実行し、記録されたインシデントを継続的統合で実行される回帰テストに変換する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model responses are non-deterministic, so failures in LLM agents are hard to reproduce: a failure depends on inference that is not bitwise reproducible, on tools that read changing state, and on a multi-step trajectory that a re-run rarely repeats. Record-and-replay makes a run reproducible, but existing agent tooling records runs only to trace or score them, not to test a code change against them. We present Chronicle, which records an agent run at its non-deterministic boundaries as immutable envelopes and replays it from the record. Its central operation, cut-point replay, serves a chosen subset of boundaries from the record and executes the complementary subset live with new code, turning a recorded incident into a regression test that runs in continuous integration. On a benchmark of 6 recorded failures with simulated model boundaries, recording adds 23 μs per crossing (0.008% of an assumed 300 ms model call), full replay issues zero model calls and is bit-stable across 20 repetitions, and cut-point tests fail on faulty code and pass on guarded and benign changes for all 6 incidents. In a mutation study of the guarded tools, cut-point tests catch every mutant that lets the recorded unsafe action through, while a baseline that stubs every boundary, using the same assertion, catches none. Chronicle and the benchmark are publicly available at https://github.com/theagentplane/chronicle.
• Abstract（参考訳）: 大規模な言語モデル応答は決定論的ではないため、LLMエージェントの失敗は再現が困難である。 Record-and-replayは実行を再現できるが、既存のエージェントツーリングレコードはトレースやスコアのためにのみ実行される。 我々は,非決定論的境界で実行されるエージェントを不変エンベロープとして記録し,記録から再生するクロニクルを提示する。 その中心的な操作であるカットポイント・リプレイは、レコードから選択された境界のサブセットを提供し、新しいコードで生きた補完的なサブセットを実行し、記録されたインシデントを継続的統合で実行される回帰テストに変換する。 モデル境界をシミュレートした6つの障害のベンチマークでは、23μs(300msモデルコールの0.008%)の追加、完全なリプレイ問題ゼロモデルコール、20回の繰り返しでビット安定、カットポイントテストは欠陥コードで失敗し、6回のインシデントすべてに対してガードと良心的な変更をパスする。 ガードされたツールの突然変異実験では、カットポイントテストは記録された安全でないアクションを通すすべてのミュータントをキャッチし、同じアサーションを使用してすべての境界をスタブするベースラインは、何もキャッチしない。 Chronicleとベンチマークはhttps://github.com/theagentplane/chronicle.comで公開されている。

関連論文リスト

• NovaFabric: Tamper-Evident, Replayable Evidence for Autonomous AI Agent Runs [0.0]
  我々はNovaFabricを紹介し、監査グレードの実行証拠を作成している。 エージェントロジックを変更することなく実行中のエージェントを、ポータブルなRun Capsuleに記録する。 シードランは4モードのリプレイプロトコルで再実行可能である。 我々は8つの研究課題を測定範囲で評価した。
  論文  参考訳（メタデータ） (2026-09-11T08:35:43Z)
• Forgetting Without Restarting: Execution-State Unlearning for Stateful LLM Agents [12.985773309621964]
  Provenance-Guided Selective Replayは、プロンプト、圧縮メモリ、キャッシュにまたがるクロスレイヤコントラクトとしてバインドされる。 我々は,3つのエージェントスイート,9つのベースライン,3つのモデルファミリに対して,エレケーション,キャッシュ,文字列フリーな動作テストで監査を行った。
  論文  参考訳（メタデータ） (2026-09-04T08:31:40Z)
• Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug? [1.6787220460106658]
  BSG-VAは、各バリデーションコマンドをその正確な作業ツリー状態にキャプチャし、テストのみのパッチを抽出し、元のバギーコードでコマンドを再生する。 キャプチャされた結果とリプレイ結果は、ゴールドアラインのバグ識別からレグレッションのみ、誤解を招くまで、すべてのイベントにエビデンスの役割を割り当てます。 エージェントにB-replay結果を返すかどうかを3本腕で実験すると、このパターンが変わる。
  論文  参考訳（メタデータ） (2026-07-30T22:32:14Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• AtomicCommitBench: Can Coding Agents Reconstruct Commit Histories from Squashed Patches? [9.689734830501429]
  コーディングエージェントは、機能の実装、バグ修正、パーティショニング、テスト、設定の編集を混ぜた1つのスクワッドパッチを返すことで、セッションを終了することが多い。 エージェントがコミットをグループ化し、再生可能なコミットシーケンスを具体化する。 私たちは10のPythonプロジェクトから800の連続的なエピソードを含むAtomicCommitBenchを構築します。
  論文  参考訳（メタデータ） (2026-07-03T13:51:22Z)
• StaminaBench: Stress-Testing Coding Agents over 100 Interaction Turns [45.43677974796221]
  コーディングエージェントのスタミナを測定するベンチマークであるStaminaBenchを紹介する。 一般的な分数タスクのメトリクスとは異なり、これはセッションが数十回、数百回実行される実際のバイブコーディングと一致します。
  論文  参考訳（メタデータ） (2026-06-17T21:36:09Z)
• Getting Better at Working With You: Compiling User Corrections into Runtime Enforcement for Coding Agents [99.67681154381803]
  Test-time Rule Acquisition and Compiled Enforcement (TRACE)は、コーディングエージェントランタイムのためのスキル層パイプラインである。 開発者が事前に記述した実行時チェックとは異なり、TRACEスキルはユーザのチャット修正に由来する。
  論文  参考訳（メタデータ） (2026-06-11T10:43:40Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。