論文の概要: Top General Performance = Top Domain Performance? DomainCodeBench: A Multi-domain Code Generation Benchmark

• arxiv url: http://arxiv.org/abs/2412.18573v2
• Date: Mon, 17 Mar 2025 17:58:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:58:20.961777
• Title: Top General Performance = Top Domain Performance? DomainCodeBench: A Multi-domain Code Generation Benchmark
• Title（参考訳）: Top General Performance = Top Domain Performance? DomainCodeBench: マルチドメインコード生成ベンチマーク
• Authors: Dewu Zheng, Yanlin Wang, Ensheng Shi, Xilin Liu, Yuchi Ma, Hongyu Zhang, Zibin Zheng,
• Abstract要約: DomainCodeBenchは、12のソフトウェアアプリケーションドメインと15のプログラミング言語にわたる大規模言語モデル(LLM)を評価するために設計されたベンチマークである。 トップ・ジェネラル・ドメイン・モデルは特定のアプリケーション・ドメインで一貫して排他的でないことが分かりました。 ドメイン固有の知識による拡張プロンプトは、パフォーマンスを約38.17%向上させる。
• 参考スコア（独自算出の注目度）: 38.14474956762422
• License:
• Abstract: With the rapid advancement of large language models (LLMs), extensive research has been conducted to investigate the code generation capabilities of LLMs. However, existing efforts primarily focus on general-domain tasks, leaving LLMs' code generation performance in real-world application domains underexplored. This raises a critical question: can a model's general-domain coding ability reliably represent its ability in specialized domains? In this paper, we introduce DomainCodeBench, a multi-domain code generation benchmark designed to systematically evaluate LLMs across 12 software application domains and 15 programming languages. DomainCodeBench contains 2,400 manually verified tasks with ground truth, human-annotated docstrings, and fine-grained dependency information to ensure more coverage of domain-specific challenges. Specifically, we first identify the most popular application domains by topic mining. Then, we curate coding tasks based on commonly used frameworks and platforms in each domain. We obtain several findings through extensive experiments on DomainCodeBench with ten mainstream LLMs. (1) Performance decoupling: experiments reveal that top general-domain models do not consistently excel in specific application domains; (2) Domain-specific weaknesses: LLMs often fail due to domain knowledge gaps and third-party library misusage; (3) Contextual enhancement: we show that augmenting prompts with domain-specific knowledge improves performance by around 38.17%, providing actionable insights for performance optimization. Our replication package, including the benchmark, source code, and experimental results, is available at https://github.com/DeepSoftwareAnalytics/DomainCodeBench.
• Abstract（参考訳）: 大規模言語モデル (LLM) の急速な進歩により, LLM のコード生成能力に関する研究が盛んに行われている。 しかし、既存の取り組みは主に汎用ドメインタスクに重点を置いており、LLMのコード生成性能は実証されていない。 モデルの汎用ドメインコーディング能力は、特定のドメインにおけるその能力を確実に表現できるだろうか? 本稿では、12のソフトウェアアプリケーションドメインと15のプログラミング言語にわたるLLMを体系的に評価するために設計されたマルチドメインコード生成ベンチマークであるDomainCodeBenchを紹介する。 DomainCodeBenchには2,400の手作業による検証作業、人間アノテーションによるドキュストリング、ドメイン固有の課題のカバレッジを確保するための詳細な依存性情報が含まれている。 具体的には、トピックマイニングによって、最も人気のあるアプリケーションドメインを最初に識別する。 次に、各ドメインでよく使われるフレームワークとプラットフォームに基づいてコーディングタスクをキュレートする。 そこで本研究では,DomainCodeBenchの10種類の LLM を用いた大規模実験により,いくつかの知見を得た。 1) パフォーマンスデカップリング: 実験により、トップの汎用ドメインモデルが特定のアプリケーションドメインで一貫して排他的でないことが明らかになった; (2) ドメイン固有の弱点: LLMは、ドメインの知識ギャップとサードパーティのライブラリの誤用によってしばしば失敗する; (3) コンテキスト拡張: ドメイン固有の知識によるプロンプトの増強により、パフォーマンスが38.17%向上し、パフォーマンス最適化のための実用的な洞察を提供する。 ベンチマーク、ソースコード、実験結果を含む当社のレプリケーションパッケージは、https://github.com/DeepSoftwareAnalytics/DomainCodeBench.comから入手可能です。

関連論文リスト

• DOMAINEVAL: An Auto-Constructed Benchmark for Multi-Domain Code Generation [48.11754113512047]
  この研究には、コード生成ベンチマークデータセットであるDOMAINEVALが含まれており、6つの人気のあるドメインを含んでいる。 私たちのパイプラインは完全に自動化され、コードリポジトリから研究対象のフォーマットへのプッシュボットの構築が可能になります。 本研究のコントリビューションには、コード生成ベンチマークデータセットであるDOMAINEVAL、コードベンチマークを構築するための完全自動化パイプライン、DOMAINEVALのパフォーマンスに基づいたコード生成タスクにおけるLLMの制限の識別が含まれている。
  論文  参考訳（メタデータ） (2024-08-23T16:33:58Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
  大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。 既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。 本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
  論文  参考訳（メタデータ） (2024-06-17T15:59:49Z)
• A Survey on Large Language Models for Code Generation [9.555952109820392]
  大規模言語モデル(LLM)は、様々なコード関連のタスクで顕著な進歩を遂げています。 本調査は、総合的かつ最新の文献レビューを提供することで、学界と実践的発展のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-06-01T17:48:15Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• On the Effectiveness of Large Language Models in Domain-Specific Code Generation [20.61882220430463]
  ChatGPTのような大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。 コード生成プロセスにAPI知識を効果的に組み込む方法について検討する。 私たちはこれらの戦略を、DomCoderと呼ばれる新しいコード生成アプローチと呼んでいる。
  論文  参考訳（メタデータ） (2023-12-04T05:41:02Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• CodeScope: An Execution-based Multilingual Multitask Multidimensional Benchmark for Evaluating LLMs on Code Understanding and Generation [18.354576598908448]
  LLM(Large Language Models)は、人間のプログラミング支援に優れた性能を発揮している。 LLMのコード理解と生成能力を評価するための既存のベンチマークは、厳しい制限に悩まされている。 実行ベース,多言語,マルチタスク,多次元評価ベンチマークであるCodeScopeを紹介する。
  論文  参考訳（メタデータ） (2023-11-14T23:18:52Z)
• LLMatic: Neural Architecture Search via Large Language Models and Quality Diversity Optimization [4.951599300340954]
  大きな言語モデル(LLM)は、幅広いタスクをこなせる強力なツールとして登場した。 本稿では、LLMの符号化機能を用いて、ニューラルネットワークを定義するコードに意味のあるバリエーションを導入することを提案する。 本稿では,LLMのコード生成能力とQDソリューションの多様性と堅牢性を融合させることで,ニューラルネットワーク探索(NAS)アルゴリズムであるtextttLLMaticを導入する。
  論文  参考訳（メタデータ） (2023-06-01T19:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。