論文の概要: PonyEval: Evaluating LLM-Based Program Repair for Capability-Safe and Actor-Oriented Pony Software
- arxiv url: http://arxiv.org/abs/2609.27832v1
- Date: Thu, 20 Aug 2026 07:28:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.989272
- Title: PonyEval: Evaluating LLM-Based Program Repair for Capability-Safe and Actor-Oriented Pony Software
- Title（参考訳）: PonyEval: キャパビリティセーフでアクタ指向のポニーソフトウェアのためのLCMベースのプログラム修復の評価
- Abstract要約: PonyEvalは、GitHubの実際のイシューとプル-リクエストペア291のSWEベンチスタイルのベンチマークである。
すべてのインスタンスはイシューステートメント、履歴ベースコミット、開発者ゴールドパッチ、ブラックボックステストパッチ、再現可能なランタイムマッピングをバインドする。
72のランタイムイメージを再構成し、289のユニークなベースコミットをカバーし、5つの異種計算ノードでそれらの可用性を検証する。
- 参考スコア（独自算出の注目度）: 23.087917984474156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Repository-level issue-resolution benchmarks have made executable evaluation central to software-engineering agents, but their language coverage remains concentrated in mainstream ecosystems. Pony presents a different regime: it combines actors, reference capabilities, ahead-of-time compilation, and a rapidly evolving historical toolchain, making both patch generation and faithful replay difficult. We introduce PonyEval, a SWE-bench-style benchmark of 291 real GitHub issue-pull-request pairs from 15 Pony repositories. Every instance binds an issue statement, a historical base commit, a developer gold patch, a black-box test patch, and a reproducible runtime mapping. The frozen release passes an offline audit requiring the issue-specific test to fail on the base state and pass after the gold patch; it contains no duplicate instance identifiers or canonical repository-PR pairs. In a separate full-set semantic selection audit, three isolated machine reviewers label all 291 instances as include or exclude; their Fleiss' kappa is 0.8968, with 249 unanimous inclusions and 32 unanimous exclusions. To replay eleven years of repository history, we reconstruct 72 runtime images covering 289 unique base commits and verify their availability on five heterogeneous compute nodes. We define a matched evaluation with mini-SWE-agent 2.4.6 for GPT-5.6-sol, DeepSeek-V4-Pro, GLM-5.2, MiniMax-M3, and Kimi-K3, followed by strict patch application, compilation, and hidden-test validation. Across the patches actually produced by each model, conditional resolution rates range from 10.21% to 24.68%. These rates characterize the quality of generated patches rather than success over all 291 benchmark tasks.
- Abstract（参考訳）: リポジトリレベルのイシューレゾリューションベンチマークでは、ソフトウェアエンジニアリングエージェントに中心的な評価が実施されているが、言語カバレッジは依然として主流のエコシステムに集中している。
アクター、参照機能、事前コンパイル、そして急速に進化する歴史的なツールチェーンを組み合わせることで、パッチ生成と忠実なリプレイを困難にします。
PonyEvalは15のリポジトリから291のGitHubイシュー-プル-リクエストペアのSWEベンチマークである。
すべてのインスタンスはイシューステートメント、履歴ベースコミット、開発者ゴールドパッチ、ブラックボックステストパッチ、再現可能なランタイムマッピングをバインドする。
凍結されたリリースは、イシュー固有のテストがベースステートでフェールし、ゴールドパッチをパスする必要のあるオフライン監査をパスする。
独立したフルセットセマンティックセレクション監査では、3つの独立したマシンレビュアーがすべての291インスタンスをインクルードまたはインクルージョンとしてラベル付けしている。
11年間のリポジトリ履歴を再現するため、289のユニークなベースコミットをカバーする72のランタイムイメージを再構成し、5つの異種計算ノードで利用可能であることを検証した。
GPT-5.6-sol, DeepSeek-V4-Pro, GLM-5.2, MiniMax-M3, Kimi-K3 の mini-SWE-agent 2.4.6 と一致する評価値を定義し, 厳密なパッチ適用, コンパイル, 隠れテスト検証を行う。
実際のパッチは各モデルで作成され、条件付き解像度は10.21%から24.68%である。
これらのレートは、291のベンチマークタスクで成功するのではなく、生成されたパッチの品質を特徴付ける。
関連論文リスト
- SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents [16.4855244145731]
SWE-RPGはリポジトリレベルのベンチマークで、実行可能パッチ評価と検証済みの地味な参照を組み合わせる。
SWE-RPGは、113のバグ修正と50の機能追加を含む、31のPythonとJavaリポジトリから163のタスクで構成されている。
Claude Code、Codex、OpenCodeを含む3つのコーディングエージェントを6つの大きな言語モデルバックエンドで評価します。
論文 参考訳（メタデータ） (2026-08-10T03:22:04Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳（メタデータ） (2026-07-08T21:45:34Z) - AtomicCommitBench: Can Coding Agents Reconstruct Commit Histories from Squashed Patches? [9.689734830501429]
コーディングエージェントは、機能の実装、バグ修正、パーティショニング、テスト、設定の編集を混ぜた1つのスクワッドパッチを返すことで、セッションを終了することが多い。
エージェントがコミットをグループ化し、再生可能なコミットシーケンスを具体化する。
私たちは10のPythonプロジェクトから800の連続的なエピソードを含むAtomicCommitBenchを構築します。
論文 参考訳（メタデータ） (2026-07-03T13:51:22Z) - A Single Patch Is Not Enough: Deterministic Fusion of Repair Candidates [7.8378908014951705]
候補パッチに対する決定論的原子証拠融合手法であるPatchFusionを提案する。
PatchFuseBenchでは、SWE-bench Verifiedの426/500バグとSWE-bench Multilingualの236/300バグを解決している。
これらの相補的なマルチソースプールでは、クロス候補エビデンスにより、テストベースやLLMベースのセレクタよりも正確なパッチが復元される。
論文 参考訳（メタデータ） (2026-07-02T01:53:17Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。
kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。
kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
論文 参考訳（メタデータ） (2026-02-02T19:06:15Z) - SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。
従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
論文 参考訳（メタデータ） (2025-05-29T18:28:02Z) - Are "Solved Issues" in SWE-bench Really Solved Correctly? An Empirical Study [18.117047833029073]
自動問題解決のための最も一般的なベンチマークは、SWE-benchと、その人間のフィルタリングサブセットであるSWE-bench Verifiedである。
本稿では,SWE-bench Verifiedで評価された3つの最先端課題解決ツールによって生成された可塑性パッチの正確性について,詳細な実験的検討を行った。
論文 参考訳（メタデータ） (2025-03-19T14:02:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。