論文の概要: Contain, Conform, Compare (Extended Version): A Red-Teamed Evaluation Kit for Small Coding Agents and the Full Record of Its Experiments
- arxiv url: http://arxiv.org/abs/2611.16485v1
- Date: Thu, 12 Nov 2026 08:54:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.403279
- Title: Contain, Conform, Compare (Extended Version): A Red-Teamed Evaluation Kit for Small Coding Agents and the Full Record of Its Experiments
- Title(参考訳): Contain, Conform, Compare (Extended Version): 小型符号化エージェントのためのレッドチーム評価キットとその実験の完全な記録
- Abstract要約: drydock-evalは、小さなコーディングエージェント(Gemma 4 E4B)を1GTX 5090で1時間約250回の実行で評価する。
Concernは、ローカルスタックのリクエストとスコアラの設定を比較して、レンダリングトークンまで8つのチェックを提供する。
この拡張版では、ショートペーパーを繰り返すとともに、キットと周辺で行った実験の完全な記録を追加している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A hosted score in the Gemma 4 Developer Agent competition is one noisy number, so development needs a local evaluator that is fast, safe for agent-written code, and matching the hosted scorer's prompts. drydock-eval evaluates a small coding agent (Gemma 4 E4B) at about 250 runs per hour on one RTX 5090. Contain runs each job in a fresh container without network and passed 200 scripted escape tests; conform provides eight checks that compare a local stack's requests with the scorer's configuration, down to rendered tokens; compare provides paired statistics that respect repository clusters. AI agents built and attacked the kit; a human owner approved machine use and release. This extended version repeats the short paper and adds the full record of the experiments made with and around the kit: 9,660 rows of agent runs, 2,494 grading controls and 72 serving measurements, all released. On four L4 GPUs the 31B model decodes 38.1 tokens per second in one stream and E4B 105.8. Six configurations of a 31B agent solved between 37 and 44 of 70 development tasks, and no pairwise difference was detected. A pre-registered five-arm experiment (231 tasks, 4,620 jobs) measured four prompt divergences: no E4B solve-rate change was detected (largest estimate -2.1 points, 95% interval -4.4 to +0.4). Three changes of the E4B agent led their screens by +1.0 to +6.2 points; each was then tested once on new tasks under a frozen pass rule, and none was confirmed (gains -0.35, -0.39 and +4.10 points). The unchanged baseline, run again on the same 128 tasks, moved by 1.17 points, and 65% of these tasks were solved in none of eight runs. Prompts and agent bundles are withheld; every run-level result is public.
- Abstract(参考訳): Gemma 4 Developer Agentコンペティションのホストされたスコアはノイズの多い数なので、開発には高速でエージェント記述されたコードに対して安全で、ホストされたスコアラーのプロンプトにマッチするローカル評価器が必要です。
drydock-evalは、小さなコーディングエージェント(Gemma 4 E4B)を1つのRTX 5090上で毎時約250回の実行で評価する。
Containは、ネットワークのない新しいコンテナで各ジョブを実行し、200のスクリプト付きエスケープテストに合格する。containは、ローカルスタックのリクエストとスコアラの設定を比較した8つのチェックを提供する。
AIエージェントがキットを構築し攻撃し、人間の所有者がマシンの使用とリリースを承認した。
この拡張版では、短い論文を繰り返すとともに、キットと周辺の実験の完全な記録を追加している:9,660行のエージェントラン、2,494のグレーディングコントロールと72のサービス測定。
4つのL4GPUでは、31Bモデルは1ストリームで毎秒38.1トークン、E4B 105.8トークンをデコードする。
31Bエージェントの6つの構成は70の開発タスクのうち37~44で解決され, 対角差は検出されなかった。
登録済みの5本腕実験(231のタスク、4,620のジョブ)では、4つの急激な発散が検出された: E4Bの解数変化は検出されなかった(最大推定-2.1ポイント、95%インターバル-4.4から+0.4)。
E4Bエージェントの3つの変更は、スクリーンを+1.0から+6.2ポイントに誘導し、それぞれが凍結されたパスルールの下で新しいタスクでテストされ、確認されなかった(-0.35、-0.39、+4.10ポイント)。
変更されていないベースラインは、同じ128のタスクで再び実行され、1.17のポイントで移動され、これらのタスクの65%は8回のランで解決された。
プロンプトとエージェントバンドルは保持されない。
関連論文リスト
- ExpertCrowd-SWE: Measuring Frontier Coding Agents on Expert-Authored Engineering Tasks in Unfamiliar Codebases [0.4253810477898188]
ExpertCrowd-SWEは、100名の専門家によるマルチファイルソフトウェアエンジニアリングタスクのベンチマークである。
各タスクは、実際のリポジトリのピン留めされたコミットに対して、実践的なエンジニアによって書かれた変更要求である。
タスクは87のオープンソースプロジェクトと11の言語にまたがる。
論文 参考訳(メタデータ) (2026-11-09T21:20:57Z) - Embodied First Exam [174.26470416446247]
Embodied First Examは、物理世界に入る前に、コーディングエージェントの最初の試験として機能する。
47のロボットで35のスイートで1156のタスクをこなす。
456のコアタスクでは、最も強力な8つのエージェント、CodexのGPT-6 Astraが34%の成功率を達成した。
論文 参考訳(メタデータ) (2026-11-09T10:29:19Z) - Let the Fixer Decide: Training a Code Localizer from the Fixer's Likelihood [1.8485970721272897]
コード修正をトレーニングするためのFGL(Fixer-Guided Localization)を提案する。
FGLは、パッチの正当性に応じてスコアを付け、ローカライザは、重み付けされた教師付き微調整によってこれらのスコアに基づいてトレーニングされる。
我々はKaggle Gemma-4 Developer Agentコンペティションのために、Gemma 4 E4Bで完全なパイプラインを構築します。
論文 参考訳(メタデータ) (2026-11-09T10:18:59Z) - Cross-Benchmark Transfer from RL on Agentic Coding Tasks [0.13579757545152057]
多くの場合、コーディングエージェントは最後の1マイルで失敗する。機能の大部分を構築し、要件をドロップし、実装がすでに処理しているケースのみをテストし、無傷であるはずの動作を壊したり、未確認の仮定に対して検証する。
専門家が構築したエージェントコーディングタスクの強化学習がこのギャップを埋めるか、エージェントが学習するものがトレーニング分布を超えるのかを問う。
我々は,隠れフェール・ツー・パステストとパス・ツー・パステストによって評価された1,700のタスクと,専門家が書いた隠れバリデーションによって評価された700の端末タスクについて,Kim K2.7コードをポストトレーニングした。
論文 参考訳(メタデータ) (2026-10-01T01:12:24Z) - FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration [3.4732047142551288]
FDE-BenchはDockerイメージ、マルチサービスComposeスタック、診断・修復モードにまたがるデプロイメント設定タスクを評価している。
エージェントは、プリスタント環境で収集、再構築、再デプロイされる宣言的アーティファクトを提出する。
準備は最大の障害ステージであり、313エピソードのうち110エピソードが未解決である。
論文 参考訳(メタデータ) (2026-09-23T08:51:01Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳(メタデータ) (2026-09-16T04:00:54Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳(メタデータ) (2026-05-11T17:49:43Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳(メタデータ) (2026-04-26T16:05:02Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳(メタデータ) (2026-04-05T17:55:23Z) - Multi-Agent Code Verification with Compound Vulnerability Detection [0.0]
既存のツールはバグの65%しかキャッチできず、35%が偽陽性である。
CodeX-Verifyは4つの特殊なエージェントを使って異なるタイプのバグを検出するマルチエージェントシステムです。
論文 参考訳(メタデータ) (2025-11-20T03:40:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。