論文の概要: FullStack Bench: Evaluating LLMs as Full Stack Coders

• arxiv url: http://arxiv.org/abs/2412.00535v5
• Date: Fri, 20 Dec 2024 14:58:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:22:29.740275
• Title: FullStack Bench: Evaluating LLMs as Full Stack Coders
• Title（参考訳）: FullStack Bench: LLMをフルスタックコーダとして評価する
• Authors: Bytedance-Seed-Foundation-Code-Team, :, Yao Cheng, Jianfeng Chen, Jie Chen, Li Chen, Liyu Chen, Wentao Chen, Zhengyu Chen, Shijie Geng, Aoyan Li, Bo Li, Bowen Li, Linyi Li, Boyi Liu, Jerry Liu, Kaibo Liu, Qi Liu, Shukai Liu, Siyao Liu, Tianyi Liu, Tingkai Liu, Yongfei Liu, Rui Long, Jing Mai, Guanghan Ning, Z. Y. Peng, Kai Shen, Jiahao Su, Jing Su, Tao Sun, Yifan Sun, Yunzhe Tao, Guoyin Wang, Siwei Wang, Xuwu Wang, Yite Wang, Zihan Wang, Jinxiang Xia, Liang Xiang, Xia Xiao, Yongsheng Xiao, Chenguang Xi, Shulin Xin, Jingjing Xu, Shikun Xu, Hongxia Yang, Jack Yang, Yingxiang Yang, Jianbo Yuan, Jun Zhang, Yufeng Zhang, Yuyu Zhang, Shen Zheng, He Zhu, Ming Zhu,
• Abstract要約: FullStack Benchは、幅広いアプリケーションドメインを含むフルスタックプログラミングに焦点を当てている。 FullStack Benchのマルチ言語プログラミング機能を評価するために,16の広く使用されているプログラミング言語から実世界の命令とそれに対応する単体テストケースを設計する。
• 参考スコア（独自算出の注目度）: 108.63536080569877
• License:
• Abstract: As the capabilities of code large language models (LLMs) continue to expand, their applications across diverse code intelligence domains are rapidly increasing. However, most existing datasets only evaluate limited application domains. To address this gap, we have developed a comprehensive code evaluation dataset FullStack Bench focusing on full-stack programming, which encompasses a wide range of application domains (e.g., basic programming, data analysis, software engineering, mathematics, and machine learning). Besides, to assess multilingual programming capabilities, in FullStack Bench, we design real-world instructions and corresponding unit test cases from 16 widely-used programming languages to reflect real-world usage scenarios rather than simple translations. Moreover, we also release an effective code sandbox execution tool (i.e., SandboxFusion) supporting various programming languages and packages to evaluate the performance of our FullStack Bench efficiently. Comprehensive experimental results on our FullStack Bench demonstrate the necessity and effectiveness of our FullStack Bench and SandboxFusion.
• Abstract（参考訳）: コード大言語モデル(LLM)の能力が拡大するにつれて、さまざまなコードインテリジェンスドメインにわたるアプリケーションも急速に増加しています。 しかしながら、既存のデータセットのほとんどは、限られたアプリケーションドメインのみを評価します。 このギャップに対処するため、FullStack Bench氏は、幅広いアプリケーションドメイン(基本的なプログラミング、データ分析、ソフトウェア工学、数学、機械学習など)を含むフルスタックプログラミングに焦点を当てた、包括的なコード評価データセットを開発した。 さらに、FullStack Benchでは16の広く使われているプログラミング言語から実世界の命令とそれに対応する単体テストケースを設計し、単純な翻訳ではなく実世界の使用シナリオを反映する。 さらに、FullStack Benchの性能を評価するために、様々なプログラミング言語やパッケージをサポートする効果的なコードサンドボックス実行ツール(サンドボックスフュージョン)もリリースしました。 FullStack Benchの総合的な実験結果は、FullStack BenchとSandboxFusionの必要性と有効性を示しています。

関連論文リスト

• M2rc-Eval: Massively Multilingual Repository-level Code Completion Evaluation [39.6123499117046]
  18のプログラミング言語をカバーする多言語リポジトリレベルのコード補完ベンチマークを提案する。 異なる補完シナリオに2種類の細かいアノテーション(バケットレベルとセマンティックレベル)が提供される。 また、M2RC-INSTRUCTデータセットを多言語で作成し、既存のコード大言語モデルのリポジトリレベルのコード補完能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-28T15:58:41Z)
• ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities [30.030101957186595]
  ToolSandboxは、大規模言語モデル(LLM)の評価フレームワークである。 ToolSandboxには、ステートフルなツール実行、ツール間の暗黙のステート依存性、オン・ポリケーションの会話評価をサポートする組み込みユーザシミュレータが含まれている。 オープンソースとプロプライエタリなモデルには大きなパフォーマンスギャップがあることを示し、ToolSandboxで定義された状態依存、正準化、不十分な情報といった複雑なタスクは、最も有能なSOTA LLMでさえも挑戦している。
  論文  参考訳（メタデータ） (2024-08-08T05:45:42Z)
• StackSight: Unveiling WebAssembly through Large Language Models and Neurosymbolic Chain-of-Thought Decompilation [2.1094456929188676]
  StackSightは静的解析アルゴリズムを通じて仮想スタックの変更を視覚化し、追跡し、チェーン・オブ・シークレット・プロンプトを適用する。 評価結果は、StackSightがWebAssemblyの逆コンパイルを大幅に改善していることを示している。 またユーザ調査では、StackSightが生成したコードスニペットの勝利率が大幅に高く、コードのセマンティクスをよりよく把握できることを示した。
  論文  参考訳（メタデータ） (2024-06-07T01:08:17Z)
• TESTEVAL: Benchmarking Large Language Models for Test Case Generation [15.343859279282848]
  大規模言語モデル(LLM)を用いたテストケース生成のための新しいベンチマークであるTESTEVALを提案する。 オンラインプログラミングプラットフォームLeetCodeから210のPythonプログラムを収集し、全体的なカバレッジ、ターゲットライン/ブランチカバレッジ、ターゲットパスカバレッジという3つの異なるタスクを設計します。 特定のプログラム行/ブランチ/パスをカバーするテストケースを生成することは、現在のLLMでは依然として困難である。
  論文  参考訳（メタデータ） (2024-06-06T22:07:50Z)
• Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models [95.96734086126469]
  大規模言語モデル(LLM)は、ユーザが仕事を達成するのを助けるアシスタントとして機能し、高度なアプリケーションの開発をサポートする。 LLMの幅広い応用にとって、推論効率は重要な問題であり、既存の研究で広く研究されている。 各種コードライブラリの推論性能の粗大な解析を行う。
  論文  参考訳（メタデータ） (2024-04-17T15:57:50Z)
• DevBench: A Comprehensive Benchmark for Software Development [72.24266814625685]
  DevBenchは、ソフトウェア開発ライフサイクルのさまざまな段階にわたる大規模言語モデル(LLM)を評価するベンチマークである。 GPT-4-Turboを含む現在のLLMは、DevBench内での課題の解決に失敗している。 本研究は,LLMを現実のプログラミングアプリケーションに展開する上で,現実的な知見を提供するものである。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。