論文の概要: StaminaBench: Stress-Testing Coding Agents over 100 Interaction Turns

• arxiv url: http://arxiv.org/abs/2606.19613v1
• Date: Wed, 17 Jun 2026 21:36:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.550013
• Title: StaminaBench: Stress-Testing Coding Agents over 100 Interaction Turns
• Title（参考訳）: StaminaBench:100回以上のインタラクションターンをストレステストするコーディングエージェント
• Authors: Vlad Sobal, Shuo Yang, Yuting Zhang, Wei Xia, Stefano Soatto,
• Abstract要約: コーディングエージェントのスタミナを測定するベンチマークであるStaminaBenchを紹介する。 一般的な分数タスクのメトリクスとは異なり、これはセッションが数十回、数百回実行される実際のバイブコーディングと一致します。
• 参考スコア（独自算出の注目度）: 45.43677974796221
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce StaminaBench, a benchmark that measures the stamina of coding agents: how many consecutive interaction turns (change requests) they can handle before failing. Unlike the prevailing fraction-of-tasks-solved metric, this matches real vibe-coding where sessions run dozens or hundreds of turns. In StaminaBench, agents implement a REST API server and modify it across a tunable number of procedurally generated follow-up change requests - 100 in our experiments, resulting in codebases of up to 6,000 lines. Tests are generated fully programmatically without LLM involvement, ensuring reproducibility and reliability; change sequences are drawn from either a hardcoded or LLM-driven sampler, both constrained to a structured action space to ensure changes are valid. The agent and the server run in an isolated environment and communicate with the benchmark through HTTP, making testing fully black-box and language-agnostic. We evaluate six agent harnesses paired with seven open-source LLMs across 20 scenarios of 100 turns each and find that: (1) all the tested models fail within 5-6 turns, confirming that vibe-coding-style programming without thorough testing produces bugs; (2) passing test feedback back to the agent and allowing it to retry improves passed turn count by up to 12x; and (3) a good harness is required for strong performance: stronger models exhibit up to a 6x gap between their best and worst harness, while weaker models fail with any harness. We release the benchmark and the generated tasks to enable further research into multi-turn coding agent behavior. Benchmark code and data: github.com/amazon-science/StaminaBench.
• Abstract（参考訳）: コーディングエージェントのスタミナを測定するベンチマークであるStaminaBenchを紹介します。 一般的なタスクの分数解法とは異なり、セッションが数十回ないし数百回実行される実際のビブコーディングと一致します。 StaminaBenchでは、エージェントがREST APIサーバを実装し、手続き的に生成された変更要求を調整可能な数で修正します。 変更シーケンスは、ハードコードまたはLCM駆動のサンプリング器から引き出され、どちらも構造化されたアクション空間に制約され、変更が有効であることを保証する。 エージェントとサーバは独立した環境で動作し、HTTPを介してベンチマークと通信する。 1 つのテストモデルが 5-6 ターン以内に失敗し、徹底的なテストなしにビブコーディングスタイルのプログラミングがバグを発生させることを確認し、(2) テストフィードバックをエージェントに渡すことで、パスターン回数を最大 12 倍向上させることができること、(3) 優れたハーネスが強いパフォーマンスのために必要である: より強力なモデルは、最高のハーネスと最悪のハーネスの間に 6 倍のギャップを示すのに対して、弱いモデルはどんなハーネスでも失敗する。 我々は,マルチターン符号化エージェントの動作に関するさらなる研究を可能にするために,ベンチマークと生成されたタスクをリリースする。 ベンチマークコードとデータ:github.com/amazon-science/StaminaBench

関連論文リスト

• WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
  この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。 各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。 グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
  論文  参考訳（メタデータ） (2026-05-11T17:49:43Z)
• Breaking, Stale, or Missing? Benchmarking Coding Agents on Project-Level Test Evolution [20.606877071567958]
  テスト進化のための最初のプロジェクトレベルのベンチマークであるTEBenchを紹介します。 TEBenchをDefects4Jプロジェクト上で4段階のパイプラインで構築する。 3つの産業エージェントフレームワークにまたがる7つの構成を評価する。
  論文  参考訳（メタデータ） (2026-05-07T12:31:09Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces [17.202580606345666]
  生産性タスクを自動化するために、大規模言語モデル(LLM)エージェントがますますデプロイされる。 既存のベンチマークは単純化された環境に依存しており、現実的なマルチサービス環境をキャプチャできない。 我々は,現実的な生産性設定におけるLCMエージェントの評価と改善のためのベンチマークであるClawsBenchを紹介する。
  論文  参考訳（メタデータ） (2026-04-06T21:09:06Z)
• Code-A1: Adversarial Evolving of Code LLM and Test LLM via Reinforcement Learning [54.95476453942411]
  コード生成のための強化学習は、単体テストのパスレートから検証可能な報酬に依存する。 最近のセルフプレイ手法は、1つのモデルでコードとテスト生成を統合する。 Code-A1は、人間のアノテーションによるテストでトレーニングされたコード生成のパフォーマンスマッチングまたはモデルを超えることを実現する。
  論文  参考訳（メタデータ） (2026-03-16T17:58:13Z)
• ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
  タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。 我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。 実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
  論文  参考訳（メタデータ） (2025-10-23T06:58:32Z)
• CodeCoR: An LLM-Based Self-Reflective Multi-Agent Framework for Code Generation [10.048098631259876]
  コード生成は、自然言語で書かれた要求を自動的に満たすコードを生成することを目的としている。 ChatGPTのような大きな言語モデル(LLM)は、生成されたコードの構文的および意味論的正確性を保証するのに失敗する。 我々は,各エージェントとそのコラボレーションの有効性を評価する,自己表現型マルチエージェントフレームワークであるCodeCoRを提案する。
  論文  参考訳（メタデータ） (2025-01-14T03:21:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。