論文の概要: SWE-bench-java: A GitHub Issue Resolving Benchmark for Java

• arxiv url: http://arxiv.org/abs/2408.14354v1
• Date: Mon, 26 Aug 2024 15:30:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 13:31:39.243641
• Title: SWE-bench-java: A GitHub Issue Resolving Benchmark for Java
• Title（参考訳）: SWE-bench-java: Javaのベンチマークを解決するGitHubの問題
• Authors: Daoguang Zan, Zhirong Huang, Ailun Yu, Shaoxin Lin, Yifan Shi, Wei Liu, Dong Chen, Zongshuai Qi, Hao Yu, Lei Yu, Dezhi Ran, Muhan Zeng, Bo Shen, Pan Bian, Guangtai Liang, Bei Guan, Pengjie Huang, Tao Xie, Yongji Wang, Qianxiang Wang,
• Abstract要約: 大規模言語モデル(LLM)の問題解決能力を評価するため、SWE-benchがリリースされた。 マルチ言語サポートへの第一歩として、SWE-bench-javaと呼ばれるSWE-benchのJavaバージョンを開発しました。 SWE-bench-javaの信頼性を検証するために、従来のSWE-agentを実装し、その上で複数の強力なLCMをテストする。
• 参考スコア（独自算出の注目度）: 27.226354754864783
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GitHub issue resolving is a critical task in software engineering, recently gaining significant attention in both industry and academia. Within this task, SWE-bench has been released to evaluate issue resolving capabilities of large language models (LLMs), but has so far only focused on Python version. However, supporting more programming languages is also important, as there is a strong demand in industry. As a first step toward multilingual support, we have developed a Java version of SWE-bench, called SWE-bench-java. We have publicly released the dataset, along with the corresponding Docker-based evaluation environment and leaderboard, which will be continuously maintained and updated in the coming months. To verify the reliability of SWE-bench-java, we implement a classic method SWE-agent and test several powerful LLMs on it. As is well known, developing a high-quality multi-lingual benchmark is time-consuming and labor-intensive, so we welcome contributions through pull requests or collaboration to accelerate its iteration and refinement, paving the way for fully automated programming.
• Abstract（参考訳）: GitHubの問題解決はソフトウェアエンジニアリングにおける重要な課題であり、最近、業界と学界の両方で大きな注目を集めている。 このタスクの中で、SWE-benchは、大きな言語モデル(LLM)の問題解決能力を評価するためにリリースされた。 しかし、業界に強い需要があるため、より多くのプログラミング言語をサポートすることも重要である。 マルチ言語サポートへの第一歩として、SWE-bench-javaと呼ばれるSWE-benchのJavaバージョンを開発しました。 データセットと,それに対応するDockerベースの評価環境とリーダボードを合わせて公開しています。 SWE-bench-javaの信頼性を検証するために、従来のSWE-agentを実装し、その上で複数の強力なLCMをテストする。 よく知られているように、高品質な多言語ベンチマークの開発には時間がかかり、労力がかかるため、プルリクエストやコラボレーションを通じて、イテレーションと改善を加速し、完全に自動化されたプログラミングの道を開くことで、コントリビューションを歓迎します。

関連論文リスト

• SWE-bench Multimodal: Do AI Systems Generalize to Visual Software Domains? [64.34184587727334]
  視覚的ユーザ向けJavaScriptソフトウェアにおけるバグ修正機能に基づいて,システム評価を行うSWE-bench Multimodalを提案する。 SWE-bench Mは、Webインターフェース設計、ダイアグラム、データ視覚化、シンタックスハイライト、インタラクティブマッピングに使用される17のJavaScriptライブラリから収集された617のタスクインスタンスを特徴とする。 分析の結果,SWE-benchシステムはSWE-bench Mと競合し,視覚的問題解決や言語間の一般化に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-10-04T18:48:58Z)
• A Multi-objective Optimization Benchmark Test Suite for Real-time Semantic Segmentation [22.707825213534125]
  ハードウェア対応ニューラルアーキテクチャ(HW-NAS)タスクは、ブラックボックス多目的最適化問題(MOP)として扱うことができる。 リアルタイムセマンティックセグメンテーションのためのHW-NASのタスクを標準のMOPに変換するために,最適化されたストリームラインを導入する。 本稿では,Cityscapesデータセットから得られた15のMOPであるCitySeg/MOPというベンチマークテストスイートを提案する。
  論文  参考訳（メタデータ） (2024-04-25T00:30:03Z)
• AutoCodeRover: Autonomous Program Improvement [8.66280420062806]
  プログラムの改善を自律的に達成するために、GitHubの問題を解決する自動化アプローチを提案する。 AutoCodeRoverと呼ばれるアプローチでは、LLMは洗練されたコード検索機能と組み合わせられ、最終的にプログラムの変更やパッチにつながります。 SWE-bench-lite(300の現実のGitHubイシュー)の実験では、GitHubの問題を解決する効果が向上している(SWE-bench-liteでは19%)。
  論文  参考訳（メタデータ） (2024-04-08T11:55:09Z)
• DevBench: A Comprehensive Benchmark for Software Development [72.24266814625685]
  DevBenchは、ソフトウェア開発ライフサイクルのさまざまな段階にわたる大規模言語モデル(LLM)を評価するベンチマークである。 GPT-4-Turboを含む現在のLLMは、DevBench内での課題の解決に失敗している。 本研究は,LLMを現実のプログラミングアプリケーションに展開する上で,現実的な知見を提供するものである。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• JaxMARL: Multi-Agent RL Environments and Algorithms in JAX [105.343918678781]
  我々は、GPU対応の効率と多くの一般的なMARL環境のサポートを組み合わせた、最初のオープンソースPythonベースのライブラリであるJaxMARLを紹介します。 我々の実験は、壁時計時間の観点から、JAXベースのトレーニングパイプラインが既存のアプローチの約14倍高速であることを示している。 また、人気の高いStarCraft Multi-Agent ChallengeのJAXベースの近似的な再実装であるSMAXを紹介し、ベンチマークする。
  論文  参考訳（メタデータ） (2023-11-16T18:58:43Z)
• SWE-bench: Can Language Models Resolve Real-World GitHub Issues? [80.52201658231895]
  SWE-benchは、実際のGitHub問題から引き出された2,294ドルのソフトウェアエンジニアリング問題と、人気のあるPythonリポジトリ12ドルのプルリクエストで構成される評価フレームワークである。 我々は、最先端のプロプライエタリモデルと微調整モデルSWE-Llamaの両方が、最も単純な問題だけを解決できることを示します。
  論文  参考訳（メタデータ） (2023-10-10T16:47:29Z)
• ESPnet-SLU: Advancing Spoken Language Understanding through ESPnet [95.39817519115394]
  ESPnet-SLUは、エンドツーエンドの音声処理ツールキットであるESPnetのプロジェクトである。 単一のフレームワークによる音声言語理解の迅速な開発を目的として設計されている。
  論文  参考訳（メタデータ） (2021-11-29T17:05:49Z)
• MOROCCO: Model Resource Comparison Framework [61.444083353087294]
  我々は,50以上のNLUタスクをサポートするttjiant環境と互換性のある言語モデルを比較するフレームワークMOROCCOを提案する。 異なる言語で2つのGLUEライクなスイートに適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-04-29T13:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。