論文の概要: ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time
- arxiv url: http://arxiv.org/abs/2610.02363v1
- Date: Thu, 01 Oct 2026 18:39:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.047721
- Title: ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time
- Title（参考訳）: ArrivalBench: エージェント生成データパイプラインが修正され,時間内に修正される
- Abstract要約: ArrivalBenchは、エージェントが残したパイプラインを再実行する。
オラクルは分類ではなく再計算するので、間違ったテーブルとクラッシュは別個の判断である。
- 参考スコア（独自算出の注目度）: 0.40611352512781873
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmarks for agent-generated data work grade a pipeline by running it once against a fixed snapshot. ArrivalBench instead re-executes the pipeline an agent leaves behind under adversarial but replayable delivery schedules (late, duplicated, out-of-order and retried records) and requires its final state to equal a batch recomputation of the complete log. Because the oracle recomputes rather than classifies, a wrong table and a crash are distinct verdicts: a crash is visible to monitoring a team already runs, and a wrong table is not. On 40 tasks we built, our reimplementation of single-execution grading certifies 86-100% of the pipelines eleven models produce; re-executing the same artifacts finds 7.0-79.2% of the certified ones silently wrong. The gap is not produced by the repair loop: within the same model and task, pipelines repaired against the snapshot test fail replay about as often as those that passed it first time. In every model, idempotency hazards fail more often than ordering hazards. Separating a wrong answer from a crash also changes how interventions read: a hazard warning cuts one model's silent failure from 48.2% to 10.5% while raising its crash rate from 9.0% to 37.0%, so all-in failure moves only from 51.0% to 44.0%. All eleven arms were independently re-run, and rates moved by at most 5.9 points.
- Abstract（参考訳）: エージェント生成データワークのベンチマークは、固定スナップショットに対して一度実行することで、パイプラインをグレードする。
代わりに、ArrivalBenchは、エージェントが残したパイプラインを再実行し、敵対的だが再生可能なデリバリスケジュール(後期、重複、アウトオブオーダー、リトライレコード)の下で、最終的な状態が完全なログのバッチ再計算に等しいように要求する。
オラクルは分類ではなく再計算するので、間違ったテーブルとクラッシュは別個の判断である: クラッシュはチームがすでに実行していることを監視するために見え、間違ったテーブルはそうではない。
私たちが構築した40のタスクにおいて、単一実行グレーディングの再実装は、11のモデルが生成するパイプラインの86-100%を認証します。
同じモデルとタスク内で、スナップショットテストに対して修正されたパイプラインは、最初にパスしたパイプラインとほぼ同じ頻度でリプレイされる。
あらゆるモデルにおいて、イデペンポシーハザードは、ハザードを注文するよりも頻繁に失敗する。
危険な警告は、あるモデルのサイレント障害を48.2%から10.5%に減らし、クラッシュ率を9.0%から37.0%に引き上げ、オールイン障害を51.0%から44.0%に減らした。
11本の腕は独立して再走し、最低でも5.9ポイントの速度で移動した。
関連論文リスト
- Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳（メタデータ） (2026-09-30T16:40:22Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - Invalidation Contracts for Cross-Episode Agent Memory [0.8673353590830692]
APIエラーからのリカバリ提案をキャッシュするLLMエージェントは、後続のエピソードでリデリベーションをスキップすることができる。
サーバ側のデータドリフトは、キャッシュされた修正をサイレント障害にします。
バージョンスタンプとキャッシュ可能性ヒントをすべてのリカバリ提案にアタッチするプロトコル層である、無効化契約を導入する。
論文 参考訳（メタデータ） (2026-08-31T18:45:07Z) - APIFlow-Bench: Measuring Whether Agents Survive Long, Dependent API Workflows [23.621239974604205]
APIFlow-Benchは、長期依存のREST-APIパフォーマンスのための、完全に監査可能なベンチマークである。
サブタスクによってサブタスクとして,合成APIの世界を前方に生成する。
すべての応答キーと44,362個の未修正実行書き起こしをリリースします。
論文 参考訳（メタデータ） (2026-08-29T08:12:11Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - Where Does Agent Reliability Come From? A Cross-Benchmark Decomposition of Verification Loops, Specialist Models, and Scaffolding in a Production Enterprise Agent [0.0]
アーキテクチャが検証ループをインストールする1つのプロダクションシステムについて検討する。
ループの端から端までを計測し、経験的検証器混同行列を生成する。
論文 参考訳（メタデータ） (2026-07-19T03:20:33Z) - SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。
成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。
モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
論文 参考訳（メタデータ） (2025-11-26T01:28:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。