論文の概要: Identical Runs, Different Results: Benchmarking AI Coding Agents on Open-Weight Models

• arxiv url: http://arxiv.org/abs/2609.33812v1
• Date: Sun, 27 Sep 2026 18:05:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:34:44.809265
• Title: Identical Runs, Different Results: Benchmarking AI Coding Agents on Open-Weight Models
• Title（参考訳）: Identical Runs, 異なる結果: オープンウェイトモデル上でAIコーディングエージェントをベンチマークする
• Abstract要約: 同じコーディングエージェントの繰り返し実行は、異なるベンチマークスコアを与えることが知られている。 このバリエーションは、ある機械学習タスクを集中的に複製することで、エージェントを自身のタスクで実行しているチームにとって何を意味するのかを問う。 6つのオープンウェイトモデルエンドポイント上の6つのエージェントを比較し、固定設定下で6つのエージェントモデルペアリングを52回ずつ実行し、そのうち3つを同じファミリーのより大きなモデル上で繰り返します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Repeated runs of the same coding agent are known to give different benchmark scores. We ask what that variation means for a team running an agent on its own task, by intensive replication on one machine-learning task: an agent improves the training code of an XGBoost classifier for airline delays, and a holdout it never sees scores the result. Across 584 runs, we compare six agents on six open-weight model endpoints, run six agent-model pairings 52 times each under fixed settings, and repeat three of them on a larger model from the same family. Identical runs of one pairing varied more than the pairings differed from one another, so comparisons of a few runs ranked them unreliably; resolving the agent differences we observed would take tens to more than a hundred runs of each. Runs on the larger model scored clearly higher, but by less than one run-to-run standard deviation, and the gap was more than twice as large with one agent as with the others. Fewer than one run in twenty broke the task's data rules, but those runs held the highest scores. Rejecting those runs first and keeping the best compliant result among a few attempts reliably improved the delivered model, even though a few runs could not rank the agents. On flights from a later year, the delivered models kept only a third of their gain over the starting code. At list prices, cost differed more than twentyfold between two agents on the same model, mostly through the prompt cache. Agents and models should be evaluated as pairings, over repeated attempts, with compliance reported beside quality. Data, code and every delivered program: https://github.com/earino/identical-runs-different-results
• Abstract（参考訳）: 同じコーディングエージェントの繰り返し実行は、異なるベンチマークスコアを与えることが知られている。 エージェントは、XGBoost分類器のトレーニングコードを改善して、航空会社の遅延を検知し、その結果を決して見ないホールドアウトを行う。 584回の実行で、6つのオープンウェイトモデルエンドポイント上の6つのエージェントを比較し、6つのエージェントモデルペアリングをそれぞれ52回、固定された設定下で実行し、そのうち3つを同じ家族のより大きなモデル上で繰り返します。 1つのペアリングの正確な実行はペアリングとの違いよりも多様であったため、いくつかの実行の比較では信頼性が低く、観察したエージェントの違いを解消するには、それぞれ10から100回の実行が必要だった。 より大きなモデルのランは明らかに高い値を示したが、ラン・ツー・ランの標準偏差は1つ以下であり、ギャップは1つのエージェントと他のエージェントの2倍以上であった。 20回に1回以上のランがタスクのデータルールを破ったが、それらのランは最高スコアを記録した。 これらの実行を最初に拒否し、最も準拠した結果を維持するために、いくつかの実行ではエージェントをランク付けできなかったが、配信されたモデルが確実に改善された。 後年の飛行では、納入されたモデルは開始コードの3分の1しか獲得できなかった。 リストの価格では、コストは同一モデル上の2つのエージェント間で20倍以上に異なっていた。 エージェントとモデルはペアとして、繰り返し試行を通じて評価され、コンプライアンスは品質の横に報告されるべきである。 データ、コード、すべての配信プログラム:https://github.com/earino/identical-runs-different-results

関連論文リスト

• AutoDataBench: Can Agents Write the Data That Feeds the Self-Improvement Loop? [62.41600992806851]
  エージェントがそのようなタスクを書く能力の現在の評価は、エージェントが生成したもののトレーニング後にモデルがどのように機能するかを測定する。 既存の評価では、個々のタスクがデータパイプラインの受け入れ基準を満たすかどうかを問わない。 AutoDataBenchは、自律データ合成のためのエージェントの能力を直接測定する。
  論文  参考訳（メタデータ） (2026-09-28T12:24:21Z)
• Same Patient, Different Order: Action-Level Reliability of Clinical LLM Agents Under Repeated Runs [6.442213381552777]
  臨床エージェントベンチマークは同一の入力に対して同一の判定を報告でき、エージェントは各ランに対して実質的に異なる順序を出力する。 これは、固定された全ての入力でタスクをリプレイし、スコアではなく注文を比較します。 この研究は、アクションレベルのばらつきが存在することを証明し、スコアによって記録されずに通過できるが、どのレートも一般化するわけではない。
  論文  参考訳（メタデータ） (2026-09-11T22:44:35Z)
• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• Autoresearch with Coding Agents: Generalizers and Metric-Maximizers on Quran Recitation Data [4.191965713559235]
  コーディングエージェントは、スコアに対してソフトウェアを改善するために、単独で残すことができます。 このパターンでは、エージェントはデータセット、評価スクリプト、編集可能な1つのファイルを受け取り、監督なしで反復する。 このループを実際の生産タスクで実行し、ノイズの多い音声認識書面にどのクラニック詩が現れるかを決定しました。
  論文  参考訳（メタデータ） (2026-07-20T15:32:09Z)
• AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation [0.18567307896771823]
  AgentLensはインタラクティブなコードエージェントのための実運用評価ベンチマークである。 LLMで書かれた軌道レビューとサイド・バイ・サイド比較との形式的検証を組み合わせている。 モデル行動の診断、エージェントの連続したバージョンの比較、夜間評価パイプラインでの製品回帰の取得に使用しています。
  論文  参考訳（メタデータ） (2026-07-07T11:27:43Z)
• ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
  ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。 全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
  論文  参考訳（メタデータ） (2026-06-30T06:06:08Z)
• Agent trajectories as programs: fingerprinting and programming coding-agent behavior [0.49316866264940024]
  ベンチマークスコアは、エージェントが正しいことを教えてくれます。 本研究では,モデル,タスク,アプローチが異なる状況下で,エージェントを手続き的に比較する手法を提案する。 これらの手続き的シグネチャに対する調査では、正しいエージェントに対して85.7%の精度で見当たらない軌跡があり、タスク間のリークを制御している。
  論文  参考訳（メタデータ） (2026-06-15T17:28:41Z)
• When Agents Disagree With Themselves: Measuring Behavioral Consistency in LLM-Based Agents [0.0]
  ReActスタイルのエージェントは、同じ入力でも平均10回の実行毎に2.0--4.2の異なるアクションシーケンスを生成する。 一貫性のある動作を持つタスクは80-92%の精度を達成するが、一貫性のないタスクは25-60%しか達成しない。 この結果から,実行中の動作の整合性を監視することにより,早期のエラー検出とエージェント信頼性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2026-02-12T06:15:14Z)
• AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent [57.10083973844841]
  AgentArkは、マルチエージェントダイナミクスを単一のモデルの重みに蒸留する新しいフレームワークである。 各種モデル,タスク,スケーリング,シナリオの3つの階層的蒸留戦略について検討する。 シミュレーションからトレーニングへ計算の負担をシフトさせることで、蒸留されたモデルは、複数のエージェントの強い推論と自己補正性能を示しながら、一つのエージェントの効率を保ちます。
  論文  参考訳（メタデータ） (2026-02-03T19:18:28Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。