論文の概要: DARE: Difficulty Analysis for Repair Enhancement

• arxiv url: http://arxiv.org/abs/2611.05797v1
• Date: Wed, 04 Nov 2026 01:10:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.913748
• Title: DARE: Difficulty Analysis for Repair Enhancement
• Title（参考訳）: DARE:補修強化のための難易度解析
• Abstract要約: DARE(Difficulty Analysis for repair Enhancement)は、修復タスクの難易度測定、予測、特徴群貢献分析、タスク固有の修復支援を統合している。 我々は,2,594タスクからなる4つのベンチマークパーティション上でDAREを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-based coding agents are primarily evaluated by their solve rates. However, this metric does not reveal how difficult the solved tasks are or account for differences intask difficulty across benchmarks. Determining the difficulty of individual tasks by repeatedly running multiple agents is costly, while a predicted difficulty score alone provides limited guidance on what support an agent needs. To address these challenges, we propose DARE (Difficulty Analysis for Repair Enhancement), which integrates repair-task difficulty measurement, prediction, feature-group contribution analysis, and task-specific repair support. We define continuous task difficulty as the observed failure rate across multiple coding agents. The DARE difficulty model predicts this difficulty using 151 static features extracted from benchmark artifacts. The framework also analyzes the contributions of seven Repair-Task Feature Groups to identify the characteristics most salient to each task and uses this information to select task-specific agent support. We evaluate DARE on four benchmark partitions comprising 2,594 tasks. The difficulty model's aligned predictions achieve Spearman's $ρ$ = .476-.621 on held-out partitions, and the most salient Feature Groups vary across tasks and benchmarks. Furthermore, coding-agent experiments show improved repair success when support is matched to each task's salient Feature Group. These findings demonstrate that difficulty prediction and interpretation can lead to practical improvements in automated program repair (APR), while also providing a basis for difficulty-stratified agent evaluation, cross-benchmark comparisons, and identifying areas of repair capability that warrant further improvement.
• Abstract（参考訳）: LLMベースの符号化エージェントは、主にその解率によって評価される。 しかし、この測定基準は、解決されたタスクがどれほど難しいかを明らかにしたり、ベンチマーク間でのタスクの難しさの違いを説明できない。 複数のエージェントを繰り返し実行することで個々のタスクの難易度を決定するにはコストがかかるが、予測された難易度スコアだけでエージェントが必要とするものに対する限られたガイダンスを提供する。 これらの課題に対処するために,修復タスクの難易度測定,予測,特徴群貢献分析,タスク固有の修復支援を統合したDARE(Difficulty Analysis for repair Enhancement)を提案する。 連続的なタスクの難易度を、複数のコーディングエージェント間で観測される失敗率として定義する。 DAREの難易度モデルは、ベンチマークアーティファクトから抽出された151の静的特徴を用いて、この難易度を予測する。 このフレームワークは、各タスクに最も適した特性を識別するために、7つの修正タスク特徴群の貢献を分析し、この情報を使用してタスク固有のエージェントサポートを選択する。 我々は,2,594タスクからなる4つのベンチマークパーティション上でDAREを評価する。 困難モデルの整列予測は、ホールドアウトパーティション上でSpearmanの$ρ$ = .476-.621を達成する。 さらに、コードエージェント実験では、各タスクの有能なフィーチャーグループにサポートがマッチすると、改善された修復成功を示す。 これらの結果から,難易度予測と解釈が,APRの実践的改善につながることが示唆された。

関連論文リスト

• What Makes Software Issue Resolution Tasks Difficult for Agents? [5.974359772961166]
  問題解決タスクのエージェント成功率に対応するソフトウェアタスクの構造特性について検討する。 コーディングエージェントトラジェクトリの最大オープンデータセットであるCoderForge-Previewについて,大規模な実証的研究を行った。
  論文  参考訳（メタデータ） (2026-08-18T19:59:16Z)
• Agent psychometrics: Task-level performance prediction in agentic coding benchmarks [24.348135523715815]
  本稿では,エージェントプログラミング体制に合わせて,個々のタスクにおける成功や失敗を予測する枠組みを提案する。 我々のアプローチは、イシューステートメント、リポジトリコンテキスト、ソリューション、テストケースなど、タスクから抽出された豊富な機能を備えたアイテム応答理論(IRT)を拡張します。
  論文  参考訳（メタデータ） (2026-04-01T07:59:59Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• An Empirical Study on Failures in Automated Issue Solving [12.571536148821144]
  我々は,SWE-Bench-Verifiedの自動問題解決タスクにおいて,パイプラインベースとエージェントアーキテクチャの両方にまたがる3つのSOTAツールの性能と効率を分析する。 ハイレベルなパフォーマンス指標から根本原因分析に移行するために,150件の障害事例の体系的手動分析を行った。 その結果、2つのアーキテクチャパラダイムの間には明確な失敗の指紋が明らかとなり、ほとんどのエージェント的失敗は、欠陥のある推論と認知的デッドロックに起因する。
  論文  参考訳（メタデータ） (2025-09-17T13:07:52Z)
• Guiding Through Complexity: What Makes Good Supervision for Hard Math Reasoning Tasks? [74.88417042125985]
  複雑さの異なるタスクにおいて、様々な品質レベルで監視データを提供する様々なデータ駆動戦略について検討する。 ハードタスクの監視における結果エラー率が高い場合でも、そのようなデータによるトレーニングは、より簡単なサブタスクの監督を完璧に上回ります。 また,本研究の結果から,タスク・インスペクションとサブタスク・インスペクションを補完することで,顕著なパフォーマンス向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-27T17:55:27Z)
• SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
  Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。 本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。 我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
  論文  参考訳（メタデータ） (2024-09-11T17:37:48Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)
• Robust Learning Through Cross-Task Consistency [92.42534246652062]
  クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
  論文  参考訳（メタデータ） (2020-06-07T09:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。