論文の概要: JETO-Bench: A Reproducible Benchmark for Execution Time Improvement Patches in Java
- arxiv url: http://arxiv.org/abs/2606.31767v1
- Date: Tue, 30 Jun 2026 14:54:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.275804
- Title: JETO-Bench: A Reproducible Benchmark for Execution Time Improvement Patches in Java
- Title（参考訳）: JETO-Bench: Javaでの実行時間改善パッチのための再現可能なベンチマーク
- Abstract要約: JETO-Mineは、実世界のJavaプロジェクトで、再現可能なETIP(Executive Time Improvement patch)ベンチマークを作成するための、最初の再利用可能なツールです。
JETO-Mineには3フェーズのパイプラインがある。GitHubリポジトリをクロールし、ユーザ定義のフィルタを使用してETIPを識別する静的分析フェーズだ。
JETO-Mineを使ってJETO-Benchを構築します。これは、オープンソースのJavaリポジトリ174から収集された660個のETIPと91個の手動で検証された実行可能ETIPのベンチマークです。
- 参考スコア（独自算出の注目度）: 7.061620815315831
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Automated fixing of performance issues is gaining increasing attention. However, existing benchmarks of execution time improvement patches are fixed datasets that target Python, C++, or .NET and cannot be extended to new patches according to user-defined configurations. In this paper, we present JETO-Mine, the first configurable and reusable tool for automatically creating reproducible benchmarks of execution time improvement patches (ETIPs) in real-world Java projects. JETO-Mine employs a three-phase pipeline: a static analysis phase that crawls GitHub repositories and identifies ETIPs using user-defined filters and an LLM-based issue classifier, a dynamic analysis phase that wraps the identified ETIPs in Docker images for fully reproducible execution and performs statistical testing to find objective evidence of execution time improvement, and an evaluation harness that enables quantitative assessment of both generated patches and generated tests. Unlike existing benchmarks, JETO-Mine is designed as a reusable tool that allows researchers continuously collect new benchmarks with their own desired filters and statistical rigor levels. We use JETO-Mine to build JETO-Bench, a benchmark of 660 identified ETIPs and 91 manually verified executable ETIPs collected from 174 open-source Java repositories. To build JETO-Bench, JETO-Mine scans 11 years of open-source development history and nearly 1.8 million commits. We run OpenHands, a leading open-source coding agent, on the 91 manually verified executable ETIPs in JETO-Bench and find that it correctly fixes 14.3% (13/91) of the issues, aligning with results reported by similar studies on other programming languages. Our results also reveal that open-source Java projects largely lack tests that demonstrate execution time improvements, presenting an opportunity for future research in test generation.
- Abstract（参考訳）: パフォーマンス問題の自動修正が注目を集めています。
しかし、既存の実行時間改善パッチのベンチマークは、Python、C++、または.NETをターゲットにした固定データセットである。
ユーザ定義の設定に従って新しいパッチに拡張することはできない。
本稿では,JETO-Mineについて紹介する。JETO-Mineは,実世界のJavaプロジェクトにおいて,再現可能なETIPのベンチマークを自動生成する,構成可能かつ再利用可能なツールである。
JETO-Mineは、GitHubリポジトリをクロールし、ユーザ定義のフィルタとLLMベースのイシュー分類器を使用してETIPを識別する静的分析フェーズ、完全に再現可能な実行のためにDockerイメージに特定ETIPをラップして統計的テストを実行し、実行時間の改善の客観的な証拠を見つけるための動的分析フェーズ、生成されたパッチと生成されたテストの両方を定量的に評価可能な評価ハーネスという3段階のパイプラインを使用している。
既存のベンチマークとは異なり、JETO-Mineは再利用可能なツールとして設計されている。
JETO-Mineを使ってJETO-Benchを構築します。これは、オープンソースのJavaリポジトリ174から収集された660個のETIPと91個の手動で検証された実行可能ETIPのベンチマークです。
JETO-Benchを構築するために、JETO-Mineは11年間のオープンソース開発履歴と180万近いコミットをスキャンする。
主要なオープンソースコーディングエージェントであるOpenHandsを、JETO-Benchで91で手作業で検証された実行可能ETIP上で実行し、他のプログラミング言語で同様の研究によって報告された結果と整合して、問題の14.3%(13/91)を正しく修正することを発見した。
私たちの結果は、オープンソースのJavaプロジェクトには実行時間の改善を示すテストがほとんどなく、テスト生成における将来の研究の機会が提示されていることも示しています。
関連論文リスト
- USE: A Unified Self-Ensembling Framework for Test-Time Prompt Tuning [54.44143638529487]
テスト時適応(TTA)は、視覚言語モデルの性能向上のための一般的なパラダイムとして登場した。
本稿では,最適化段階と推論段階の整合性を保証する統一型自己組織化フレームワーク(USE)を提案する。
論文 参考訳（メタデータ） (2026-07-04T14:45:23Z) - Evaluating LLMs on Real-World Software Performance Optimization [11.535003393431348]
SWE-Proは、オープンソースプロジェクトから102のエキスパートによる最適化から派生した、リポジトリレベルのベンチマークである。
以前のベンチマークとは異なり、SWE-Proは各タスクをパラメータ化されたテストと組み合わせて実行時、ピークメモリ、タイムウェイトメモリ使用量を評価する。
ランタイムゲインは無視可能であり、メモリ最適化はほとんど存在しない。
論文 参考訳（メタデータ） (2026-06-24T08:07:41Z) - Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation [1.5686209550078525]
本稿では,ハードウェア設計の固有構造を利用して決定論的テストベンチを生成するフレームワークSTGを提案する。
直接検証ツールとして、STGは反復LDMベースのテストベンチ生成フローよりも720倍高速で動作する。
データエンジンとしては、単一のCPUコア上でのLLMベースのフィルタリングよりも11倍高速で、エネルギーは117倍少ない。
論文 参考訳（メタデータ） (2026-06-11T07:19:41Z) - Evaluating LLM-Based 0-to-1 Software Generation in End-to-End CLI Tool Scenarios [13.708123854369303]
CLI-Tool-Benchは、Command-Line Interfaceツールの基底生成を評価するための構造に依存しないベンチマークである。
ブラックボックスの差分テストフレームワークを通じて評価された100の現実世界のリポジトリが特徴だ。
エージェント生成ソフトウェアはサンドボックスで実行され、システムサイドエフェクトと端末出力を人書きのオークルと比較する。
論文 参考訳（メタデータ） (2026-04-08T07:09:10Z) - DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。
ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。
我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
論文 参考訳（メタデータ） (2026-03-01T16:10:16Z) - TimeMachine-bench: A Benchmark for Evaluating Model Capabilities in Repository-Level Migration Tasks [12.573674060643787]
TimeMachine-benchは、現実のPythonプロジェクトでソフトウェアマイグレーションを評価するために設計されたベンチマークである。
私たちのベンチマークは、依存関係の更新に応じてテストが失敗し始めるGitHubリポジトリで構成されています。
論文 参考訳（メタデータ） (2026-01-30T05:42:45Z) - RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository [52.98970048197381]
RepoGenesisは、リポジトリレベルのエンドツーエンドWebマイクロサービス生成のための、最初の多言語ベンチマークである。
18のドメインと11のフレームワークに106のリポジトリ(60のPython、46のJava)があり、1,258のAPIエンドポイントと2,335のテストケースが検証されている。
その結果、高いAC(最大73.91%)とDSR(最大100%)にもかかわらず、最高のパフォーマンスのシステムはPythonで23.67%のPass@1、Javaで21.45%しか達成していないことが明らかになった。
論文 参考訳（メタデータ） (2026-01-20T13:19:20Z) - SWE-fficiency: Can Language Models Optimize Real-World Repositories on Real Workloads? [22.075705411944895]
SWE-fficiencyは、実際のワークロードにおけるリポジトリレベルのパフォーマンス最適化を評価するためのベンチマークである。
私たちのスイートには、9つの広く使用されているデータサイエンス、機械学習、HPCリポジトリにわたる498のタスクが含まれています。
論文 参考訳（メタデータ） (2025-11-08T17:55:09Z) - ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [51.297873393639456]
ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。
我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。
我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
論文 参考訳（メタデータ） (2025-07-07T12:53:00Z) - SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。
従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
論文 参考訳（メタデータ） (2025-05-29T18:28:02Z) - EnvBench: A Benchmark for Automated Environment Setup [76.02998475135824]
大規模言語モデルにより、研究者はソフトウェア工学領域における実用的なリポジトリレベルのタスクに集中できるようになった。
環境設定に関する既存の研究は革新的なエージェント戦略を導入しているが、その評価は小さなデータセットに基づいていることが多い。
このギャップに対処するため、包括的環境設定ベンチマークEnvBenchを紹介します。
論文 参考訳（メタデータ） (2025-03-18T17:19:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。