論文の概要: Replay Fidelity in LLM Agent Evaluation: Randomness, Hidden State, and Test Oracles in AppWorld
- arxiv url: http://arxiv.org/abs/2611.11216v1
- Date: Sun, 08 Nov 2026 08:07:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:37.960016
- Title: Replay Fidelity in LLM Agent Evaluation: Randomness, Hidden State, and Test Oracles in AppWorld
- Title(参考訳): LLMエージェント評価におけるリプレイ忠実性:AppWorldにおけるランダム性、隠された状態、テストオラクル
- Abstract要約: 固定コードリプレイを284回分離したAppWorldコーパスを用いて,71回の実行が失敗したことを監査する。
出力と判定は一致しないものの, 物質化状態の相違点を4つ同定する。
このコントリビューションは、リプレイの適性、隠蔽状態、およびテスト・オーラ統合の有界な経験的特徴である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reproducibility in large language model (LLM) agent evaluation depends on replay fidelity: which parts of an execution trace are reconstructed, controlled, and compared. This matters for agent debugging, failure analysis, and counterfactual evaluation of stateful tool use. We audit all 71 unsuccessful executions in a fixed historical AppWorld corpus using 284 isolated fixed-code replay attempts. Reconstructed declared settings admit 42 cases under printed-output, pre-oracle database-delta, and native-verdict/test-count checks; resetting the random-number generator before each interaction admits 68. The 26-case gap contracts to four under database/oracle checks, with one endpoint unknown. Mechanism studies identify four materialized-state discrepancies despite matching outputs and verdicts. In one admitted endpoint pair, an identical API call yields matching responses but different row effects; common future Python RNG removes that deterministic difference in two paired repetitions. A separate JWT credential-equality program and alignment controls expose authentication/write differences, with missing repetitions retained. For all 10 affected post-oracle export cases, native export from retained output trackers restores the reference comparison without changing original cached contents. A purposeful 12-case BFCL pilot shows no discrepancy under its tested public-state, return, and verdict checks. We preserve resource censoring and infrastructure deviations. The contribution is a bounded empirical characterization of replay eligibility, hidden state, and test-oracle integration, without estimating debugger accuracy, repair gains, or method-ranking distortion.
- Abstract(参考訳): 大規模言語モデル(LLM)エージェント評価における再現性は、実行トレースのどの部分が再構成され、制御され、比較されるかという再生忠実度に依存する。
これは、エージェントのデバッグ、障害解析、ステートフルツールの使用の反実的な評価に関するものです。
固定コードリプレイを284回分離したAppWorldコーパスを用いて,71回の実行が失敗したことを監査する。
リコンストラクトされた宣言された設定は、プリントアウトプット、プレオーラルデータベースデルタ、ネイティブ予測/テストカウントチェックの下で42のケースを許容する。
26ケースのギャップ契約は、データベース/オーラチェックで4つになり、1つのエンドポイントが不明になった。
メカニズム研究は、出力と判定が一致するにもかかわらず、4つの物質化された状態の相違を識別する。
あるエンドポイントペアでは、同一のAPI呼び出しが一致応答を出力するが、異なる行エフェクトを出力する。
別個のJWTクレデンシャル・エクイティプログラムとアライメントコントロールは、認証/書き込みの差異を露呈し、繰り返しが欠落している。
影響を受けた10の輸出ケースに対して、保持された出力トラッカーからのネイティブエクスポートは、元のキャッシュ内容を変更することなく参照比較を復元する。
目的のある12ケースのBFCLパイロットは、テスト対象の公立状態、返却、検証チェックの下での相違を示さない。
我々は資源の検閲とインフラの逸脱を守ります。
このコントリビューションは、リプレイの適性、隠蔽状態、およびテスト・オラクルの統合を、デバッガの精度、修理の利得、メソッドレベルの歪みを見積もることなく、有界な実証的な特徴付けである。
関連論文リスト
- ErosionBench: Probing Alignment Decay in Enterprise Multi-Agent Systems [32.23048792587719]
ErosionBenchは、そのような攻撃を実行し、プロセスレベルでのアライメント崩壊を検証する環境基盤ベンチマークである。
4つのエンタープライズドメインと4つの崩壊メカニズムにまたがっており、1,728のシナリオにマッチした良性制御と198のイメージベースの攻撃がある。
そこで本研究では,同期状態チェックと非同期軌跡監視を併用した校正メタオーディタペア同期状態チェックを提案する。
論文 参考訳(メタデータ) (2026-11-08T09:40:52Z) - EviCast: Forecasting Retrieval Gains Through Shared Response Calibration [81.48214908232247]
介入エビデンス-状態分解による検索値を予測するフレームワークであるEviCastを紹介する。
EviCastは、制御されたエビデンス状態に対するジェネレータの応答を測定し、この共有プロファイルと各候補レトリバーのオフラインエビデンス状態分布を組み合わせる。
状態制限解析は、そのバイナリおよびトポロジ対応のインスタンス化が正確で、共有キャリブレーションがレトリバーごとのキャリブレーションよりも統計的に効率的である場合に特徴付けられる。
論文 参考訳(メタデータ) (2026-11-02T01:55:58Z) - Bengali Hallucination Detection with Retrieval and Programs: A System Study [0.0]
ベンガルの幻覚は、しばしば供給された参照パスなしで、事実的主張と誤った推論を区別しなければならない。
本稿では,応答条件付きクエリ書き換え,ハイブリッド検索,タスク固有言語モデル判定を組み合わせた推論のみのシステムを提案する。
我々は,バージョン固有のコード,保存された予測,実行トレース,Olikbochonチャレンジからのコーパスメタデータを用いて,システムの特徴付けを行う。
論文 参考訳(メタデータ) (2026-10-16T03:46:27Z) - When Agent Evaluation Becomes Unreliable: An Empirical Study of Oracle Failures and Configuration-Dependent Measurement in an LLM Agent Benchmark [7.717546214164674]
オラクル統合監査アプローチは、2つのタスクドメインと合成ドメインに7つのオラクル欠陥クラスを注入することで測定される。
広く使用されているエージェントベンチマークでは、データベースをリセットしてゼロトゥルースハッシュを構築し、決して復元しない報酬関数を公開する。
論文 参考訳(メタデータ) (2026-10-12T02:11:43Z) - Beyond Corrected Memory: Execution Consistency in Multi-Agent Systems [42.90481302321822]
我々は、国家利用、情報ハンドオフ、そして最終状態合意を管理する義務を通じて、実行の一貫性を定義します。
私たちの主張の中核は、同じ保持されたレコードは、同じタスクルールの下での実行に準拠し違反する可能性がある、ということです。
整合性診断と回復のためのフレームワークであるCAVERTを用いて、ログからサポート対象の関係を抽出する。
論文 参考訳(メタデータ) (2026-10-06T10:29:41Z) - Functionally Equivalent or Not? Graph-Grounded Differential Surrogate Execution for Code Equivalence [10.45005458481016]
FEAgentは、型付きプログラムグラフエビデンスと差分代理実行を組み合わせた選択等価評価エージェントである。
そのオラクルに対する不一致はすべて、直接実行によって判断され、ベンチマークラベルと単体テストのみのスコアで見逃された振る舞いの相違が明らかになる。
EquiBenchでは、1200個の評価済みペアのうち216個(18.0%)、SWE-bench Verifiedでは331個のテストパスエージェントパッチ(28.4%)が参照パッチから分岐している。
論文 参考訳(メタデータ) (2026-10-03T08:19:45Z) - Relic: From Multi-Agent Collaboration to Persistent Organizational Capability [37.80629799707573]
繰り返し発生するコラボレーションの失敗を組織所有の実行可能なプロトコルに変えるRelicを紹介します。
メンバーは目に見える仕事を反映し、ルールを提案し、採用を管理します。
新たなメンバ転送では、動作の正確性は25.4%で、継承されたプロトコルが無く、34.6%が可読性テキストと同じルールで、41.2%が実行可能バインディングである。
論文 参考訳(メタデータ) (2026-09-26T21:55:49Z) - COUNTERMEM: World-Model Verified Counter-Factual Memory for Language Agents [40.59788210629839]
COUNTERMEMは、タスク間で検証済みの反ファクトメモリの構築と使用のための強化学習フレームワークである。
動作が失敗した後、COUNTERMEMは元の状態のコピーまたはリセットからローカル代替品を評価する。
オリジナルと修正されたアクション、チェック結果、再利用条件の改善を格納する。
論文 参考訳(メタデータ) (2026-09-25T18:12:38Z) - Correct Now, Insufficient Later: Auditing Update Sufficiency in Context Compression [0.0]
メモリは、後の更新で要求される区別を捨てながら、現在のクエリに正しく答えることができる。
我々はこの失敗を2つの歴史監査で調査する。
パイロットは6つの合成機構の24の履歴ペアを評価する。
論文 参考訳(メタデータ) (2026-09-17T10:51:37Z) - Localizing Post-Wire Semantic Changes in MCP Agent Frameworks [0.0]
本稿では,各フレームワークの公開インターフェースを通じて固定されたツール結果に従い,明示的な消費者要求をチェックする差分テスト手法を提案する。
Google ADKは、観察されたパス内のすべてのプライマリコントラクトを満たす。
その実際的な意味は、配線後回帰テストは必要な情報と消費者がそれをどのように読むかの両方を特定する必要があることである。
論文 参考訳(メタデータ) (2026-09-17T04:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。