論文の概要: CodeArena: A Collective Evaluation Platform for LLM Code Generation

• arxiv url: http://arxiv.org/abs/2503.01295v1
• Date: Mon, 03 Mar 2025 08:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:34.729980
• Title: CodeArena: A Collective Evaluation Platform for LLM Code Generation
• Title（参考訳）: CodeArena: LLMコード生成のための集合的評価プラットフォーム
• Authors: Mingzhe Du, Anh Tuan Luu, Bin Ji, Xiaobao Wu, Dong Huang, Terry Yue Zhuo, Qian Liu, See-Kiong Ng,
• Abstract要約: CodeArenaは、LLM(Large Language Models)コード生成に適したオンライン評価フレームワークである。 鍵となる革新は、総合的な評価メカニズムであり、それは、個々のモデルのスコアを、すべての参加モデルの全体的パフォーマンスに基づいて再分類するものである。 CodeArenaは、提出されたすべてのソリューションとテストケースへのオープンアクセスを保証し、コード評価ワークフローを合理化するための自動化フレンドリなAPIを提供する。
• 参考スコア（独自算出の注目度）: 46.800918377886184
• License:
• Abstract: Large Language Models (LLMs) have reshaped code generation by synergizing their exceptional comprehension of natural language and programming syntax, thereby substantially boosting developer productivity. These advancements have prompted numerous efforts to quantitatively evaluate their coding capabilities. However, persistent challenges, such as benchmark leakage, data dissipation, and limited system accessibility, continue to impede a timely and accurate assessment. To address these limitations, we introduce CodeArena, an online evaluation framework tailored for LLM code generation. The key innovation is a collective evaluation mechanism, which dynamically recalibrates individual model scores based on the holistic performance of all participating models, mitigating score biases caused by widespread benchmark leakage. In addition, CodeArena ensures open access to all submitted solutions and test cases and provides automation-friendly APIs to streamline the code evaluation workflow. Our main contributions are: (1) a collective evaluation system for unbiased assessment, (2) a public repository of solutions and test cases, and (3) automation-ready APIs for seamless integration.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語とプログラミング構文の例外的な理解を相乗化することによってコード生成を再構築し、開発者の生産性を大幅に向上させた。 これらの進歩は、そのコーディング能力を定量的に評価する多くの取り組みを引き起こしている。 しかし、ベンチマークのリーク、データ送出、システムアクセシビリティの制限といった永続的な課題は、タイムリーで正確な評価を妨げ続けている。 これらの制限に対処するため,LLMコード生成に適したオンライン評価フレームワークであるCodeArenaを紹介した。 鍵となる革新は集合的評価メカニズムであり、これは各モデルのスコアを全ての参加モデルの総合的な性能に基づいて動的に再分類し、ベンチマークリークによるスコアバイアスを緩和するものである。 さらに、CodeArenaは、提出されたすべてのソリューションとテストケースへのオープンアクセスを保証し、コード評価ワークフローを合理化するための自動化フレンドリなAPIを提供する。 主な貢献は,(1)非バイアス評価のための総合評価システム,(2)ソリューションとテストケースの公開リポジトリ,(3)シームレスな統合のための自動化対応APIである。

関連論文リスト

• Bridging LLM-Generated Code and Requirements: Reverse Generation technique and SBC Metric for Developer Insights [0.0]
  本稿では,SBCスコアと呼ばれる新しいスコアリング機構を提案する。 これは、大規模言語モデルの自然言語生成能力を活用するリバースジェネレーション技術に基づいている。 直接コード解析とは異なり、我々のアプローチはAI生成コードからシステム要求を再構築し、元の仕様と比較する。
  論文  参考訳（メタデータ） (2025-02-11T01:12:11Z)
• Harnessing Large Language Models for Curated Code Reviews [2.5944208050492183]
  コードレビューでは、構造化され、関連するコメントを生成することは、コードの問題を識別し、正確なコード変更を容易にするために不可欠である。 既存のコードレビューデータセットは、しばしば騒々しく、未解決であり、AIモデルの学習可能性に制限を課している。 本稿では,最大規模の公開コードレビューデータセットの品質向上を目的としたキュレーションパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-02-05T18:15:09Z)
• BitsAI-CR: Automated Code Review via LLM in Practice [16.569842114384233]
  BitsAI-CRは、2段階のアプローチを通じてコードレビューを強化する革新的なフレームワークである。 システムはレビュールールの包括的な分類に基づいて構築され、データフライホイール機構を実装している。 実証評価はBitsAI-CRの有効性を示し、レビューコメント生成において75.0%の精度を達成した。
  論文  参考訳（メタデータ） (2025-01-25T08:39:50Z)
• Leveraging Metamemory Mechanisms for Enhanced Data-Free Code Generation in LLMs [44.80420740455364]
  M2WFは、大規模言語モデルのワンタイムコード生成を改善するためのフレームワークである。 従来の方法とは異なり、キュレートされたデータへの依存を最小限に抑え、さまざまなコーディングシナリオに適応する。 コードとフレームワークはGitHubとHuggingFaceで公開されている。
  論文  参考訳（メタデータ） (2025-01-14T07:16:43Z)
• Prompting and Fine-tuning Large Language Models for Automated Code Review Comment Generation [5.6001617185032595]
  プログラムデータと自然言語データの両方で事前訓練された大きな言語モデルは、コード指向のタスクでうまく機能する傾向にある。 我々は,パラメータ効率,量子化低ランクのオープンソースLarge Language Model (LLM) をコンシューマグレードハードウェア上で微調整し,レビューコメント生成を改善する。
  論文  参考訳（メタデータ） (2024-11-15T12:01:38Z)
• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)
• DOCE: Finding the Sweet Spot for Execution-Based Code Generation [69.5305729627198]
  本稿では,候補生成,$n$-best再ランク,最小ベイズリスク(MBR)復号化,自己老化などを含む包括的フレームワークを提案する。 本研究は,実行ベースメソッドの重要性と,実行ベースメソッドと実行フリーメソッドとの差を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T07:10:36Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• UltraEval: A Lightweight Platform for Flexible and Comprehensive Evaluation for LLMs [74.1976921342982]
  本稿では,ユーザフレンドリな評価フレームワークであるUltraEvalを紹介し,その軽量性,包括性,モジュール性,効率性を特徴とする。 その結果のコンポーザビリティにより、統一された評価ワークフロー内で、さまざまなモデル、タスク、プロンプト、ベンチマーク、メトリクスを自由に組み合わせることができる。
  論文  参考訳（メタデータ） (2024-04-11T09:17:12Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。