論文の概要: RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale

• arxiv url: http://arxiv.org/abs/2406.16801v2
• Date: Tue, 25 Jun 2024 18:04:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 17:56:11.801694
• Title: RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale
• Title（参考訳）: RES-Q: リポジトリスケールでのコード編集大規模言語モデルシステムの評価
• Authors: Beck LaBash, August Rosedale, Alex Reents, Lucas Negritto, Colin Wiel,
• Abstract要約: 大規模言語モデル (LLM) を評価するベンチマーク RES-Q を開発した。 我々は,Qurrent OS上に構築されたリポジトリ編集システムにおける言語エージェントとして,最先端のLLMを評価した。
• 参考スコア（独自算出の注目度）: 3.378738346115004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The instruction-following ability of Large Language Models (LLMs) has cultivated a class of LLM-based systems capable of approaching complex tasks such as making edits to large code repositories. Due to the high sensitivity and unpredictability of LLM behavior in response to changes in prompting, robust evaluation tools are needed to drive future iteration of these systems. We propose RES-Q, a natural language instruction-based benchmark for evaluating $\textbf{R}$epository $\textbf{E}$diting $\textbf{S}$ystems, which consists of 100 handcrafted repository editing tasks derived from real GitHub commits. Given an edit instruction and a code repository, RES-Q evaluates an LLM system's ability to interpret the instruction, navigate the repository to gather relevant information, and construct an appropriate edit that satisfies the specified criteria. We argue that evaluating LLMs in this way addresses issues with traditional benchmarks and provides a more holistic assessment of a model's abilities. We evaluate various state-of-the-art LLMs as language agents in a repository-editing system built on Qurrent OS, our language agent development software. Despite their 1% pass@1 performance difference on HumanEval, we find Claude Sonnet 3.5 outperforms GPT-4o by 12% pass@1 on RES-Q, indicating RES-Q's capacity to differentiate model capability as traditional benchmarks approach saturation. We further investigate token efficiency, performance relationships with existing benchmarks, and interesting disparities between closed and open-source LLMs. Code and dataset are available at https://github.com/Qurrent-AI/RES-Q.
• Abstract（参考訳）: LLM(Large Language Models)の命令追従能力は、大規模なコードリポジトリへの編集などの複雑なタスクにアプローチ可能なLLMベースのシステムのクラスを育んでいる。 LLMの動作の高感度と予測不可能さにより,これらのシステムの今後のイテレーションを推し進めるためには,ロバストな評価ツールが必要である。 実際のGitHubコミットから派生した100個の手作りリポジトリ編集タスクからなる,自然言語命令ベースのベンチマークであるRES-Qを提案する。 RES-Qは、編集命令とコードレポジトリが与えられた後、LLMシステムの命令を解釈し、リポジトリをナビゲートして関連する情報を収集し、指定された基準を満たす適切な編集を構築する能力を評価する。 この方法でLLMを評価することは、従来のベンチマークの問題に対処し、モデルの能力をより包括的に評価するものである、と我々は主張する。 我々は,言語エージェント開発ソフトウェアであるQurrent OS上に構築されたリポジトリ編集システムにおいて,言語エージェントとして,最先端のLLMを評価した。 HumanEvalでの1%のパス@1パフォーマンスの違いにもかかわらず、Claude Sonnet 3.5は、RES-QでGPT-4oを12%のパス@1で上回り、従来のベンチマークが飽和に近づくにつれて、RES-Qのモデル能力を区別する能力を示している。 さらに、トークン効率、既存のベンチマークとの性能関係、およびクローズドおよびオープンソースLLM間の興味深い相違について検討する。 コードとデータセットはhttps://github.com/Qurrent-AI/RES-Qで公開されている。

関連論文リスト

• Leveraging LLMs for Legacy Code Modernization: Challenges and Opportunities for LLM-Generated Documentation [2.249533649156367]
  MUMPSやメインフレームアセンブリといった時代遅れの言語で記述されたレガシーソフトウェアシステムは、効率性、メンテナンス、スタッフリング、セキュリティにおいて課題を提起する。 本稿では,2つのデータセットを用いたレガシコードのための文書生成におけるLCMの利用について検討する。 本稿では,ラインワイドなコードコメントを生成するためのプロンプト戦略を提案し,その完全性,可読性,有用性,幻覚性を評価する。
  論文  参考訳（メタデータ） (2024-11-22T14:27:27Z)
• SysBench: Can Large Language Models Follow System Messages? [30.701602680394686]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがって実装されており、これらのモデルを特定のシナリオにカスタマイズすることがますます重要になっている。 AI駆動型ソリューションを最適化するシステムメッセージの可能性は認識されているが、LLMがシステムメッセージにどの程度うまく従うかを評価するためのベンチマークは、特に欠落している。 我々は,既存のLLMの3つの制限の観点から,システムメッセージ追従能力を体系的に解析するベンチマークであるSysBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-20T15:33:16Z)
• RepoQA: Evaluating Long Context Code Understanding [12.329233433333416]
  RepoQAは、Large Language Models(LLM)を長文のコード理解で評価するためのベンチマークである。 RepoQAには、5つのモダンプログラミング言語にまたがる50の人気のあるリポジトリから収集された500のコード検索タスクが含まれている。
  論文  参考訳（メタデータ） (2024-06-10T05:15:30Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Class-Level Code Generation from Natural Language Using Iterative, Tool-Enhanced Reasoning over Repository [4.767858874370881]
  実世界のリポジトリ内でクラスレベルのコードを生成する際に,LLMを厳格に評価するためのベンチマークであるRepoClassBenchを紹介する。 RepoClassBenchには、リポジトリの選択からJava、Python、C#にまたがる"Natural Language to Class Generation"タスクが含まれている。 Retrieve-Repotools-Reflect (RRR)は,レポジトリレベルのコンテキストを反復的にナビゲートし,推論する静的解析ツールを備えた新しいアプローチである。
  論文  参考訳（メタデータ） (2024-04-22T03:52:54Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [15.214583657626697]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)
• Attributed Question Answering: Evaluation and Modeling for Attributed Large Language Models [68.37431984231338]
  大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。 我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
  論文  参考訳（メタデータ） (2022-12-15T18:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。