論文の概要: Well-Specified and Well-Tested? Assessing SWE-bench-Style Datasets with a Self-Evolving Agent

• arxiv url: http://arxiv.org/abs/2610.39417v1
• Date: Thu, 29 Oct 2026 05:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.048644
• Title: Well-Specified and Well-Tested? Assessing SWE-bench-Style Datasets with a Self-Evolving Agent
• Title（参考訳）: SWE-bench-Style Datasets with a Self-Evolving Agent (特集 SWE-bench-Style Datasets with a Self-Evolving Agents)
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア工学(SE)タスクに強いパフォーマンスを示している。 SWEベンチスタイルのデータセット(SWEデータセット)は、LLMベースのコーディングエージェントを現実世界のソフトウェア問題で評価するために広く使用されている。 本稿では,SWEデータセットにおけるタスクの明確化とテストカバレッジ評価のためのエクスペリエンス誘導型アシスタントであるExLabelを提案する。
• 参考スコア（独自算出の注目度）: 19.67104231718154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have shown strong performance on software engineering (SE) tasks, driving the need for high-quality datasets for reliable training and evaluation. SWE-bench-style datasets (SWE datasets) are widely used to evaluate LLM-based coding agents on real-world software issues, where task clarity and test coverage directly affect whether instances are solvable and verifiable. However, quality issues persist in existing SWE datasets, and manual annotation is costly and labor-intensive, motivating LLM-based annotation. Existing approaches typically rely on static, overly general rubrics, limiting their ability to handle diverse and nuanced scenarios and often yielding high false positive rates. In contrast, human annotators draw on accumulated experience to make context-aware judgments. Inspired by this, we propose ExLabel, an LLM-based, self-evolving, experience-guided assistant for task clarity and test coverage assessment in SWE datasets. ExLabel maintains an evolving experience bank that distills cross-instance knowledge into stable yet adaptive judgment criteria and reuses relevant experience to guide the assessment of new instances. For systematic evaluation, we construct SWE-TQ, a new benchmark spanning eight programming languages, by cleaning human annotations from SWE-bench and Multi-SWE-bench. Experiments with three backbone LLMs show that ExLabel achieves the best F1 across all settings, with relative improvements of 44.2%/49.9% and 24.0%/18.4% over the best baseline for task clarity and test coverage assessment on the Python/Multilingual subsets, respectively. Moreover, a coding model fine-tuned on SWE-rebench data filtered by ExLabel resolves 66.2% of issues on SWE-bench Verified, outperforming the model trained on data filtered by the best baseline by 14.5%.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェアエンジニアリング(SE)タスクに強いパフォーマンスを示し、信頼性のあるトレーニングと評価のための高品質なデータセットの必要性を推進している。 SWEベンチスタイルのデータセット(SWEデータセット)は、現実のソフトウェア問題においてLLMベースのコーディングエージェントを評価するために広く使われており、タスクの明確さとテストカバレッジは、インスタンスが解決可能で検証可能であるかどうかに直接影響する。 しかし、既存のSWEデータセットでは品質の問題が続き、手作業によるアノテーションはコストが高く、労力がかかり、LLMベースのアノテーションを動機付けている。 既存のアプローチは通常、静的で過度に一般的なルーブリックに依存しており、多様でニュアンスのあるシナリオを扱う能力を制限し、しばしば偽陽性率が高い。 対照的に、人間のアノテータは蓄積した経験に基づいて文脈認識の判断を行う。 そこで本研究では,SWEデータセットにおけるタスクの明確化とテストカバレッジ評価のための,LCMベースの自己進化型エクスペリエンス誘導型アシスタントであるExLabelを提案する。 ExLabelは、クロスインスタンスの知識を安定的かつ適応的な判断基準に蒸留し、関連するエクスペリエンスを再利用して、新たなインスタンスの評価をガイドする進化した経験銀行を維持している。 本研究では,SWE-benchとMulti-SWE-benchのアノテーションをクリーンにすることで,8つのプログラミング言語にまたがる新しいベンチマークであるSWE-TQを構築する。 3つのバックボーン LLM による実験によると、ExLabel は全ての設定で最高の F1 を達成しており、相対的な改善は 44.2%/49.9% と 24.0%/18.4% である。 さらに、ExLabelによってフィルタリングされたSWE-rebenchデータに基づいて微調整されたコーディングモデルは、SWE-bench Verifiedの66.2%の問題を解決する。

関連論文リスト

• From Insight to Action: A Novel Framework for Interpretability-Guided Data Selection in Large Language Models [73.72877445629383]
  Interpretability-Guided Data Selection (IGDS) は、まず周波数リコールと干渉フィルタリングによって因果タスクの特徴を識別するフレームワークである。 我々は,数学的推論,要約,翻訳タスクに関するIGDSをGemma-2,LLaMA-3.1,Qwen3モデルで検証する。
  論文  参考訳（メタデータ） (2026-04-28T03:16:24Z)
• Hierarchical Semi-Supervised Active Learning for Remote Sensing [20.305328912143054]
  半教師付き学習(SSL)と新しい階層型アクティブ学習(HAL)を統合した階層型半教師付きアクティブラーニング(HSSAL)フレームワークを提案する。 各イテレーションでSSLは、教師付き学習と弱い自己学習を通じてラベル付きデータとラベルなしデータの両方を使用してモデルを洗練し、特徴表現の改善と不確実性推定を行う。 UCM、AID、NWPU-RESISC45を含む3つのベンチマークRSシーン分類データセットの実験は、HSSALがSSLまたはALのみのベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-11-22T13:25:42Z)
• SAS-Bench: A Fine-Grained Benchmark for Evaluating Short Answer Scoring with Large Language Models [36.10798324093408]
  SAS-Benchは、大規模言語モデル(LLM)ベースのショートアンサースコーリングタスクのベンチマークである。 詳細な、段階的なスコアリング、専門家による注釈付きエラーカテゴリ、さまざまな質問タイプを提供する。 また,1030の質問と4,109人の学生回答を含むオープンソースデータセットも公開しています。
  論文  参考訳（メタデータ） (2025-05-12T05:43:21Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• DCA-Bench: A Benchmark for Dataset Curation Agents [9.60250892491588]
  不完全なドキュメンテーション、不正確なラベル、倫理的懸念、時代遅れの情報といったデータ品質問題は、広く使われているデータセットで共通している。 大きな言語モデル(LLM)の急増する能力により、LLMエージェントによる隠れデータセット問題の発見の合理化が約束されている。 本研究では,この課題に対処するLLMエージェントの能力を評価するためのベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-06-11T14:02:23Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
  大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。 本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。 1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
  論文  参考訳（メタデータ） (2024-02-19T07:15:59Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。