論文の概要: Harvesting SWE Benchmarks from Wild Vibe Coding Sessions

• arxiv url: http://arxiv.org/abs/2611.02440v1
• Date: Mon, 02 Nov 2026 03:02:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:24:15.112765
• Title: Harvesting SWE Benchmarks from Wild Vibe Coding Sessions
• Title（参考訳）: ワイルドバイブコーディングセッションからのSWEベンチマークのハーベスティング
• Abstract要約: 開発チームは、自身のリポジトリから再現可能なタスクを必要とし、コーディングエージェントを評価する。 SessionFarmerは、これらのレコードを自己完結型の実行可能なソフトウェアエンジニアリングタスクに変換する自動化フレームワークです。 61のパブリックリポジトリと14のプログラミング言語にわたる242タスクのオープンベンチマークであるCropChatと、プロプライエタリなエンタープライズログからCropEnterpriseを構築します。
• 参考スコア（独自算出の注目度）: 9.307383793999525
• License:
• Abstract: Development teams need reproducible tasks from their own repositories and workflows to evaluate coding agents. Conversational developer-agent collaboration ("vibe coding") produces abundant coding sessions and repository checkpoints, but requirements evolve across turns, unrelated conversations co-occur with commits, and engineering efforts can span multiple sessions. We present SessionFarmer, an automated framework that turns these records into self-contained, executable software engineering tasks. It analyzes dialogue and commit history to filter unrelated sessions and group multi-turn, potentially multi-session interactions into work episodes centered on one engineering goal. For each episode, it reconstructs a hermetic execution container, synthesizes a task statement from the full context, and authors repository-grounded engineering-quality rubrics and unit tests. Closed-loop test refinement uses requirement-breaking mutants and a blind solver to reduce false rejections of valid alternatives and false acceptances of incomplete solutions. We construct CropChat, an open benchmark of 242 tasks across 61 public repositories and 14 programming languages, and CropEnterprise from proprietary enterprise logs. In a CropEnterprise audit, the original developers endorse the vast majority of reconstructed episode boundaries, task statements, and quality rubrics. Full-episode context covers substantially more user requirements than single-turn or single-session inputs. Test refinement cuts false-rejection rates and raises balanced accuracy against reference patch labels by 7-9 percentage points across solvers. Across 12 model-harness configurations on CropChat, the strongest setup achieves 39.3% Pass@1, while harness choice shifts Pass@1 by up to 8.4 percentage points for the same model.
• Abstract（参考訳）: コーディングエージェントを評価するには、自身のリポジトリやワークフローから再現可能なタスクが必要になる。 会話的な開発者とエージェントのコラボレーション("vibe coding")は、豊富なコーディングセッションとリポジトリのチェックポイントを生成するが、要件はターン毎に進化し、無関係な会話はコミットと共起し、エンジニアリングの取り組みは複数のセッションにまたがる。 SessionFarmerは、これらのレコードを自己完結型の実行可能なソフトウェアエンジニアリングタスクに変換する自動化フレームワークです。 対話とコミット履歴を分析して、無関係なセッションをフィルタリングし、複数のセッションのインタラクションを1つのエンジニアリング目標を中心とした作業エピソードに分類する。 各エピソードについて、Hermetic実行コンテナを再構築し、フルコンテキストからタスクステートメントを合成し、レポジトリで構築されたエンジニアリング品質のルーリックとユニットテストを記述します。 クローズドループテストリファインメントは、要求を破るミュータントとブラインドソルバを使用して、有効な代替案の偽の拒絶と不完全解の偽の受け入れを減らす。 61のパブリックリポジトリと14のプログラミング言語にわたる242タスクのオープンベンチマークであるCropChatと、プロプライエタリなエンタープライズログからCropEnterpriseを構築します。 CropEnterpriseの監査では、オリジナルの開発者は、再構築されたエピソード境界、タスクステートメント、品質の曖昧さの大部分を支持している。 フルエピソードコンテキストは、シングルターンやシングルセッション入力よりもはるかに多くのユーザ要求をカバーします。 テストリファインメントは偽リジェクション率を削減し、参照パッチラベルに対するバランスの取れた精度を、ソルバ全体で7-9ポイント向上させる。 CropChat上の12のモデルハーネス構成のうち、最強のセットアップは39.3%のPass@1を達成する。

関連論文リスト

• Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models [68.83033665662025]
  Co-Design Benchは、26,314の実際のユーザコーディングセッションにわたる37,463の重複クエリから算出された273のタスクのベンチマークである。 その2つのトラック、ME(Multimodal Editing)とRE(Repository Editing)は、任意の画像、オーディオ、ビデオ、文書入力を含むローカライズされた編集をカバーしている。 タスクは正規化されたリクエストをペアにし、2,331の隠れ専門家認可の受け入れ基準で事前編集可能なアプリケーションを実行する。
  論文  参考訳（メタデータ） (2026-10-26T10:10:21Z)
• UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Users [14.199209477847022]
  我々は,動的ユーザとのマルチターンインタラクションを通じて,リポジトリレベルのバグを修正するコーディングエージェントの能力を評価するためのUserSWEを紹介する。 私たちの構築パイプラインは、リポジトリ履歴と既存のシングルターンベンチマークをマルチターンタスクに変換します。 42のリポジトリから72タスクのエージェントを11個評価し,インタラクション予算によってエージェントランキングが変化することを確認した。
  論文  参考訳（メタデータ） (2026-10-21T14:46:22Z)
• Coding-Agent Benchmarks Should Match Their Users' Task Flows [0.7364513793981815]
  SWE-TaskFlowは、問題由来のベンチマークタスクを変換するためのアプローチである。 ターゲットのタスクフローに向けてインタラクションを操りながら、検証済みのタスクとテストを保存する。 700のSWE-Bench Proタスクのパイロットでは、いくつかのステップでタスクを逐次解決することでエージェントコストが約2倍になった。
  論文  参考訳（メタデータ） (2026-10-07T08:08:39Z)
• WideSWE: Can Coding Agents Coordinate Changes Across Repositories? [26.071091542185957]
  クロスリポジトリタスクにおける符号化エージェントの評価にWideSWEを導入する。 103のソフトウェアエコシステムにおける変更のマイニングとレビューは120の実際のタスクをもたらし、60のバグ修正と60の機能のバランスをとる。 完全なタスク成功は10.83%から42.50%の範囲で、設定ペアのCodex CLIとGPT-5.6-solが最高速度を達成している。
  論文  参考訳（メタデータ） (2026-09-27T09:02:49Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)
• SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
  We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。 従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
  論文  参考訳（メタデータ） (2025-05-29T18:28:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。