論文の概要: How Should I Build A Benchmark? Revisiting Code-Related Benchmarks For LLMs

• arxiv url: http://arxiv.org/abs/2501.10711v2
• Date: Sun, 26 Jan 2025 05:09:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:53:01.508912
• Title: How Should I Build A Benchmark? Revisiting Code-Related Benchmarks For LLMs
• Title（参考訳）: ベンチマークをどのように作るべきか? LLMのコード関連ベンチマークを再考
• Authors: Jialun Cao, Yuk-Kit Chan, Zixuan Ling, Wenxuan Wang, Shuqing Li, Mingwei Liu, Ruixi Qiao, Yuting Han, Chaozheng Wang, Boxi Yu, Pinjia He, Shuai Wang, Zibin Zheng, Michael R. Lyu, Shing-Chi Cheung,
• Abstract要約: コード関連ベンチマークの開発を包括的に管理するためのガイドラインとして,How2Benchを提案する。 私たちは過去10年以内にリリースされた274のベンチマークをプロファイルし、問題を見つけました。 多くのベンチマークには、重複したサンプル、不正な参照コード/テスト/プロンプト、削除されていない機密/機密情報を含む抜け穴がある。
• 参考スコア（独自算出の注目度）: 60.25940747590386
• License:
• Abstract: Various benchmarks have been proposed to assess the performance of large language models (LLMs) in different coding scenarios. We refer to them as code-related benchmarks. However, there are no systematic guidelines by which such a benchmark should be developed to ensure its quality, reliability, and reproducibility. We propose How2Bench, which is comprised of a 55- 55-criteria checklist as a set of guidelines to govern the development of code-related benchmarks comprehensively. Using HOW2BENCH, we profiled 274 benchmarks released within the past decade and found concerning issues. Nearly 70% of the benchmarks did not take measures for data quality assurance; over 10% did not even open source or only partially open source. Many highly cited benchmarks have loopholes, including duplicated samples, incorrect reference codes/tests/prompts, and unremoved sensitive/confidential information. Finally, we conducted a human study involving 49 participants, which revealed significant gaps in awareness of the importance of data quality, reproducibility, and transparency.
• Abstract（参考訳）: 異なるコーディングシナリオにおける大規模言語モデル(LLM)の性能を評価するために、様々なベンチマークが提案されている。 それらをコード関連のベンチマークと呼んでいる。 しかし、そのようなベンチマークが品質、信頼性、再現性を保証するために開発されるべき体系的なガイドラインは存在しない。 本稿では,コード関連ベンチマークの開発を包括的に管理するためのガイドラインとして,55-55基準チェックリストからなるHow2Benchを提案する。 HOW2BENCHを使用して、過去10年間にリリースされた274のベンチマークをプロファイルし、問題を発見した。 ベンチマークの70%近くはデータ品質保証の措置を取らず、10%以上がオープンソースでも、部分的にはオープンソースでもなかった。 多くの高度に引用されたベンチマークには、重複したサンプル、不正な参照コード/テスト/プロンプト、削除されていない機密/機密情報を含む抜け穴がある。 最後に,49名の参加者を対象とした人間実験を行い,データ品質,再現性,透明性の重要性を意識する上で,大きなギャップがあることを明らかにした。

関連論文リスト

• BetterBench: Assessing AI Benchmarks, Uncovering Issues, and Establishing Best Practices [28.70453947993952]
  我々は、AIベンチマークのライフサイクル全体で46のベストプラクティスを検討し、それに対して24のAIベンチマークを評価するアセスメントフレームワークを開発した。 私たちは、大きな品質差があり、よく使われるベンチマークが重大な問題に悩まされていることに気付きました。
  論文  参考訳（メタデータ） (2024-11-20T02:38:24Z)
• Do These LLM Benchmarks Agree? Fixing Benchmark Evaluation with BenchBench [15.565644819269803]
  過度に見落とされた方法論的選択がベンチマークコンセンサステスト(BAT)の結果にどのように影響するかを示す。 我々は、BAT用のピソンパッケージであるBenchBenchを紹介し、ベンチマークを仲間を使って評価するためのメタベンチマークであるBenchBench- Leaderboardをリリースする。
  論文  参考訳（メタデータ） (2024-07-18T17:00:23Z)
• ECBD: Evidence-Centered Benchmark Design for NLP [95.50252564938417]
  ベンチマーク設計プロセスを5つのモジュールに形式化するフレームワークであるEvidence-Centered Benchmark Design (ECBD)を提案する。 各モジュールは、ベンチマーク設計の選択を記述し、正当化し、サポートする必要がある。 分析の結果,ベンチマークの妥当性を脅かす可能性のあるベンチマーク設計とドキュメントの共通する傾向が明らかになった。
  論文  参考訳（メタデータ） (2024-06-13T00:59:55Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• The Fault in our Stars: Quality Assessment of Code Generation Benchmarks [0.5137309756089941]
  我々は、異なるコード生成モデルの性能を比較するために使用されるベンチマークの中で、プロンプトの品質について、第一種研究を行う。 9つのコード生成ベンチマークから3,566のプロンプトを分析し、その中の品質問題を特定した。
  論文  参考訳（メタデータ） (2024-04-15T22:02:58Z)
• DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
  ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。 DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。 DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
  論文  参考訳（メタデータ） (2023-07-04T01:34:41Z)
• A Review of Benchmarks for Visual Defect Detection in the Manufacturing Industry [63.52264764099532]
  本稿では,既存のベンチマークを用いて,それらの特性とユースケースを比較し,公開する。 産業メトリクスの要求と試験手順についての研究は、研究されたベンチマークに提示され、適用されます。
  論文  参考訳（メタデータ） (2023-05-05T07:44:23Z)
• Benchmarks for Automated Commonsense Reasoning: A Survey [0.0]
  AIシステムの常識知識と常識推論能力をテストするために、100以上のベンチマークが開発されている。 本稿では,AIコモンセンスベンチマークの開発と利用について検討する。
  論文  参考訳（メタデータ） (2023-02-09T16:34:30Z)
• Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Learning [66.59455427102152]
  不確実性ベースライン(Uncertainty Baselines): 各種タスクにおける標準および最先端のディープラーニング手法の高品質な実装。 各ベースラインは、簡単に再利用可能で拡張可能なコンポーネントを備えた、自己完結型の実験パイプラインである。 モデルチェックポイント、Pythonノートブックとしての実験出力、結果を比較するためのリーダーボードを提供する。
  論文  参考訳（メタデータ） (2021-06-07T23:57:32Z)
• What Will it Take to Fix Benchmarking in Natural Language Understanding? [30.888416756627155]
  我々は、NLUベンチマークが満たすべきと議論する4つの基準を定めている。 健全な評価エコシステムの復元には、ベンチマークデータセットの設計に大きな進歩が必要だ。
  論文  参考訳（メタデータ） (2021-04-05T20:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。