論文の概要: Commit0: Library Generation from Scratch

• arxiv url: http://arxiv.org/abs/2412.01769v1
• Date: Mon, 02 Dec 2024 18:11:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 21:11:22.687541
• Title: Commit0: Library Generation from Scratch
• Title（参考訳）: Commit0: Scratchからのライブラリ生成
• Authors: Wenting Zhao, Nan Jiang, Celine Lee, Justin T Chiu, Claire Cardie, Matthias Gallé, Alexander M Rush,
• Abstract要約: Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
• 参考スコア（独自算出の注目度）: 77.38414688148006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the goal of benchmarking generative systems beyond expert software development ability, we introduce Commit0, a benchmark that challenges AI agents to write libraries from scratch. Agents are provided with a specification document outlining the library's API as well as a suite of interactive unit tests, with the goal of producing an implementation of this API accordingly. The implementation is validated through running these unit tests. As a benchmark, Commit0 is designed to move beyond static one-shot code generation towards agents that must process long-form natural language specifications, adapt to multi-stage feedback, and generate code with complex dependencies. Commit0 also offers an interactive environment where models receive static analysis and execution feedback on the code they generate. Our experiments demonstrate that while current agents can pass some unit tests, none can yet fully reproduce full libraries. Results also show that interactive feedback is quite useful for models to generate code that passes more unit tests, validating the benchmarks that facilitate its use.
• Abstract（参考訳）: 専門家のソフトウェア開発能力を超えて生成システムをベンチマークすることを目的として、AIエージェントにゼロからライブラリを書くよう促すベンチマークであるCommit0を紹介します。 エージェントには、ライブラリのAPIを概説する仕様文書と、対話的なユニットテストスイートが提供される。 実装はこれらの単体テストを実行することで検証される。 ベンチマークとして、Commit0は静的なワンショットコード生成を超えて、長期の自然言語仕様を処理し、マルチステージフィードバックに適応し、複雑な依存関係を持つコードを生成するエージェントへと移行するように設計されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。 我々の実験では、現在のエージェントはいくつかの単体テストに合格できるが、完全なライブラリを再現することはできません。 結果として、インタラクティブなフィードバックは、より多くのユニットテストをパスするコードを生成するモデルにとって非常に有用であることを示し、その使用を促進するベンチマークを検証する。

関連論文リスト

• Automated Test Suite Enhancement Using Large Language Models with Few-shot Prompting [0.0]
  単体テストは、コードモジュールの機能的正当性を検証するのに不可欠である。 検索ベースのソフトウェアテスト(SBST)、可読性、自然性、実用的なユーザビリティの欠如など、従来のアプローチを採用したツールによって生成されたユニットテスト。 ソフトウェアリポジトリには、人間によるテスト、LLMで生成されたテスト、SBSTのような従来のアプローチを使ったツールが混在している。
  論文  参考訳（メタデータ） (2026-02-12T18:42:49Z)
• Environment-Aware Code Generation: How far are We? [52.69113158357018]
  大規模言語モデル(LLM)がユーザの特定の環境に適した実行可能コードを確実に生成できるかどうかは不明である。 本稿では,環境対応コード生成(EACG)の最初の体系的研究について述べる。 その結果,現在のLLMは環境固有のコード生成に苦しむ一方で,環境の適合性や実行性も向上していることがわかった。
  論文  参考訳（メタデータ） (2026-01-18T04:58:15Z)
• ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
  本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。 オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。 我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2026-01-16T08:23:52Z)
• UnitTenX: Generating Tests for Legacy Packages with AI Agents Powered by Formal Verification [1.6592567365278768]
  UnitTenXは、レガシーコードのユニットテストを生成するように設計された最先端のオープンソースAIマルチエージェントシステムである。 本研究は,高品質なテスト生成と潜在的な問題の同定において,このアプローチの有効性を実証するものである。
  論文  参考訳（メタデータ） (2025-10-06T23:08:23Z)
• Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol [83.83217247686402]
  大言語モデル(LLM)は、単純なテキストジェネレータから、検索強化、ツール呼び出し、マルチターンインタラクションを統合する複雑なソフトウェアシステムへと進化してきた。 その固有の非決定主義、ダイナミズム、文脈依存は品質保証に根本的な課題をもたらす。 本稿では,LLMアプリケーションを3層アーキテクチャに分解する: textbftextitSystem Shell Layer, textbftextitPrompt Orchestration Layer, textbftextitLLM Inference Core。
  論文  参考訳（メタデータ） (2025-08-28T13:00:28Z)
• On LLM-Assisted Generation of Smart Contracts from Business Processes [0.08192907805418582]
  大規模言語モデル(LLM)は、ソフトウェアの生成方法の現実を変えました。 本稿では、ビジネスプロセス記述からスマートコントラクトコードを生成するためのLCMの使用について探索的研究を行う。 以上の結果から,LLMの性能はスマートコントラクト開発に必要な信頼性に劣ることがわかった。
  論文  参考訳（メタデータ） (2025-07-30T20:39:45Z)
• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• Evaluating LLMs on Sequential API Call Through Automated Test Generation [10.621357661774244]
  StateGenは、シーケンシャルなAPIインタラクションを含む多様なコーディングタスクを生成するように設計された、自動化されたフレームワークである。 3つの代表的なシナリオにまたがる120の検証済みのテストケースを含むベンチマークであるStateEvalを構築します。 実験の結果、StateGenは挑戦的で現実的なAPI指向のタスクを効果的に生成できることを確認した。
  論文  参考訳（メタデータ） (2025-07-13T03:52:51Z)
• SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
  We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。 従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
  論文  参考訳（メタデータ） (2025-05-29T18:28:02Z)
• Paper2Code: Automating Code Generation from Scientific Papers in Machine Learning [57.09163579304332]
  機械学習論文を機能コードリポジトリに変換するフレームワークであるPaperCoderを紹介した。 PaperCoderは3つの段階で動作する。計画、図によるシステムアーキテクチャの設計、ファイル依存の特定、構成ファイルの生成である。 次に、モデルベースおよび人的評価の両方に基づいて、機械学習論文からコード実装を生成するPaperCoderを評価する。
  論文  参考訳（メタデータ） (2025-04-24T01:57:01Z)
• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)
• ComplexCodeEval: A Benchmark for Evaluating Large Code Models on More Complex Code [29.178248778212588]
  ComplexCodeEvalは、様々な開発タスクで大きな言語モデル(LLM)を評価するために設計されたベンチマークである。 これには、上位のGitHubリポジトリから3,897のJavaサンプルと7,184のPythonサンプルが含まれている。
  論文  参考訳（メタデータ） (2024-09-16T13:43:04Z)
• Multi-language Unit Test Generation using LLMs [6.259245181881262]
  静的解析を組み込んだジェネリックパイプラインを記述し,コンパイル可能な高カバレッジテストケースの生成においてLCMをガイドする。 パイプラインをさまざまなプログラミング言語、特にJavaとPython、そして環境モックを必要とする複雑なソフトウェアに適用する方法を示します。 以上の結果から,静的解析によって導かれるLCMベースのテスト生成は,最新のテスト生成技術と競合し,さらに性能も向上することが示された。
  論文  参考訳（メタデータ） (2024-09-04T21:46:18Z)
• RepoMasterEval: Evaluating Code Completion via Real-World Repositories [12.176098357240095]
  RepoMasterEvalは、現実のPythonとTypeScriptリポジトリから構築されたコード補完モデルを評価するための新しいベンチマークである。 モデル生成コードのテスト精度を向上させるため,テストケースの有効性を測定するために突然変異試験を用いる。 6つの最先端モデルに対する実証的な評価は、テスト議論がベンチマークの精度向上に重要であることを示している。
  論文  参考訳（メタデータ） (2024-08-07T03:06:57Z)
• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:52Z)
• Long Code Arena: a Set of Benchmarks for Long-Context Code Models [75.70507534322336]
  Long Code Arenaは、プロジェクト全体のコンテキストを必要とするコード処理タスクのための6つのベンチマークスイートである。 これらのタスクは、ライブラリベースのコード生成、CIビルドの修復、プロジェクトレベルのコード補完、コミットメッセージ生成、バグローカライゼーション、モジュールの要約といった、コード処理のさまざまな側面をカバーする。 各タスクに対して、テスト用の手作業によるデータセット、評価スイート、オープンソースのベースラインソリューションを提供しています。
  論文  参考訳（メタデータ） (2024-06-17T14:58:29Z)
• On the Impacts of Contexts on Repository-Level Code Generation [5.641402231731082]
  リポジトリレベルのコード生成を評価するために設計された新しいベンチマークである textbfmethodnamews を提案する。 実行可能性、包括的なテストケース生成による機能的正当性、ファイル間のコンテキストの正確な利用という3つの重要な側面に注目します。
  論文  参考訳（メタデータ） (2024-06-17T10:45:22Z)
• Lightweight Syntactic API Usage Analysis with UCov [0.0]
  本稿では,ライブラリメンテナのAPIによるインタラクション理解を支援するための,新しい概念フレームワークを提案する。 これらのカスタマイズ可能なモデルにより、ライブラリメンテナはリリース前に設計を改善することができ、進化中の摩擦を減らすことができる。 我々は,これらのモデルを新しいツールUCovに実装し,多様なインタラクションスタイルを示す3つのライブラリ上でその能力を実証する。
  論文  参考訳（メタデータ） (2024-02-19T10:33:41Z)
• InterCode: Standardizing and Benchmarking Interactive Coding with Execution Feedback [50.725076393314964]
  標準的な強化学習環境として,インタラクティブコーディングの軽量でフレキシブルで使いやすいフレームワークであるInterCodeを紹介した。 私たちのフレームワークは、言語とプラットフォームに依存しない、自己完結型のDocker環境を使用して、安全で再現可能な実行を提供します。 我々は、異なるプロンプト戦略で構成された複数の最先端LLMを評価することにより、InterCodeの生存性をテストベッドとして示す。
  論文  参考訳（メタデータ） (2023-06-26T17:59:50Z)
• SAT-Based Extraction of Behavioural Models for Java Libraries with Collections [0.087024326813104]
  振る舞いモデルは、ソフトウェア検証、テスト、監視、公開などのための貴重なツールです。 ソフトウェア開発者によって提供されることはめったになく、ソースまたはコンパイルされたコードから抽出されなければならない。 これらのアプローチのほとんどは、コンパイルされたバイトコードの分析に依存します。 我々はJavaソースコードから有限状態マシン(FSM)の形式で振る舞いモデルを取り出して、取得したFSMがソフトウェア開発者によって容易に理解できるようにしたいと思っています。
  論文  参考訳（メタデータ） (2022-05-30T17:27:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。