論文の概要: Codehacks: A Dataset of Adversarial Tests for Competitive Programming Problems Obtained from Codeforces
- arxiv url: http://arxiv.org/abs/2503.23466v1
- Date: Sun, 30 Mar 2025 14:50:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 19:35:57.138518
- Title: Codehacks: A Dataset of Adversarial Tests for Competitive Programming Problems Obtained from Codeforces
- Title（参考訳）: Codehacks: Codeforcesから得られた競合プログラミング問題に対する逆テストのデータセット
- Authors: Max Hort, Leon Moonen,
- Abstract要約: プログラム問題のデータセット(Codehacks)とそれに対応するエラー発生テストケースをキュレートする。
データセットは5,578のプログラミング問題に対して288,617のハックで構成されている。
これらの問題に対する2,196件のソリューションのソースコードは、対応するハックで壊れる可能性がある。
- 参考スコア（独自算出の注目度）: 3.7752830020595796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software is used in critical applications in our day-to-day life and it is important to ensure its correctness. One popular approach to assess correctness is to evaluate software on tests. If a test fails, it indicates a fault in the software under test; if all tests pass correctly, one may assume that the software is correct. However, the reliability of these results depends on the test suite considered, and there is a risk of false negatives (i.e. software that passes all available tests but contains bugs because some cases are not tested). Therefore, it is important to consider error-inducing test cases when evaluating software. To support data-driven creation of such a test-suite, which is especially of interest for testing software synthesized from large language models, we curate a dataset (Codehacks) of programming problems together with corresponding error-inducing test cases (i.e., "hacks"). This dataset is collected from the wild, in particular, from the Codeforces online judge platform. The dataset comprises 288,617 hacks for 5,578 programming problems, each with a natural language description, as well as the source code for 2,196 submitted solutions to these problems that can be broken with their corresponding hacks. Keywords: competitive programming, language model, dataset
- Abstract（参考訳）: ソフトウェアは日々の生活において重要なアプリケーションで使われており、その正確性を保証することが重要です。
正当性を評価するための一般的なアプローチは、テストでソフトウェアを評価することである。
テストが失敗すると、テスト中のソフトウェアの欠陥が示され、すべてのテストが正しくパスした場合、ソフトウェアが正しいと仮定される。
しかしながら、これらの結果の信頼性は考慮されたテストスイートに依存するため、偽陰性(例えば、すべてのテストに合格するが、テストされないケースがあるためバグを含むソフトウェア)のリスクがある。
したがって、ソフトウェアを評価する際にエラー発生テストケースを検討することが重要である。
大規模な言語モデルから合成されたソフトウェアをテストすることに特に関心を持つデータ駆動型テストスーツの作成を支援するため、プログラム問題のデータセット(Codehacks)と、それに対応するエラー誘発テストケース(すなわち「ハック」)をキュレートする。
このデータセットは、特にCodeforcesのオンラインジャッジプラットフォームから収集されている。
データセットは5,578のプログラミング問題に対して288,617のハックで構成され、それぞれが自然言語記述を持つ。
キーワード:競合プログラミング、言語モデル、データセット
関連論文リスト
- Leveraging Large Language Models in Code Question Answering: Baselines and Issues [0.1617522438111378]
本稿では,Pythonのソースコードに対する質問応答のために,大規模言語モデルを用いた研究について述べる。
提案手法は,Pythonコードの問合せと解答の統一データセット上で,大規模言語モデルを微調整することを含む。
手動エラー解析の結果とともに,BLEU-4,BERTScore F1,BLEURT,Exact Matchの測定値について報告する。
論文 参考訳（メタデータ） (2024-11-05T11:25:12Z) - TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark [24.14654309612826]
TestGenEvalは、1,210のコードから68,647のテストと、11の保守されたPythonリポジトリにまたがるテストファイルペアで構成されている。
初期テストのオーサリング、テストスイートの補完、コードカバレッジの改善をカバーしている。
パラメータは7Bから405Bまで様々である。
論文 参考訳（メタデータ） (2024-10-01T14:47:05Z) - TESTEVAL: Benchmarking Large Language Models for Test Case Generation [15.343859279282848]
大規模言語モデル(LLM)を用いたテストケース生成のための新しいベンチマークであるTESTEVALを提案する。
オンラインプログラミングプラットフォームLeetCodeから210のPythonプログラムを収集し、全体的なカバレッジ、ターゲットライン/ブランチカバレッジ、ターゲットパスカバレッジという3つの異なるタスクを設計します。
特定のプログラム行/ブランチ/パスをカバーするテストケースを生成することは、現在のLLMでは依然として困難である。
論文 参考訳（メタデータ） (2024-06-06T22:07:50Z) - GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection? [50.53312866647302]
HateCheckは、合成データに対してきめ細かいモデル機能をテストするスイートである。
GPT-HateCheckは,スクラッチからより多彩で現実的な機能テストを生成するフレームワークである。
クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。
論文 参考訳（メタデータ） (2024-02-23T10:02:01Z) - Automatic Generation of Test Cases based on Bug Reports: a Feasibility
Study with Large Language Models [4.318319522015101]
既存のアプローチは、単純なテスト(例えば単体テスト)や正確な仕様を必要とするテストケースを生成する。
ほとんどのテスト手順は、テストスイートを形成するために人間が書いたテストケースに依存しています。
大規模言語モデル(LLM)を活用し,バグレポートを入力として利用することにより,この生成の実現可能性を検討する。
論文 参考訳（メタデータ） (2023-10-10T05:30:12Z) - Test case quality: an empirical study on belief and evidence [8.475270520855332]
良好なテストケースを構成するものについて,8つの仮説を考察する。
最善を尽くしたにも拘わらず、我々はこれらの信念を支持する証拠を見つけることができなかった。
論文 参考訳（メタデータ） (2023-07-12T19:02:48Z) - Teaching Large Language Models to Self-Debug [62.424077000154945]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。
本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
論文 参考訳（メタデータ） (2023-04-11T10:43:43Z) - FixEval: Execution-based Evaluation of Program Fixes for Programming
Problems [23.987104440395576]
FixEvalは、競合するプログラミング問題とそれに対応する修正に対して、バグの多いコードを提出するベンチマークです。
FixEvalは、モデル生成プログラム修正の正確性を評価するために、ユニットテストの広範なコレクションを提供する。
実験の結果,マッチングに基づくメトリクスは,モデル生成プログラムの修正を正確に反映しないことがわかった。
論文 参考訳（メタデータ） (2022-06-15T20:18:43Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2022-06-04T22:01:05Z) - SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video
Games Using Risk Based Testing and Machine Learning [62.997667081978825]
従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。
自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。
この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
論文 参考訳（メタデータ） (2022-03-10T00:47:46Z) - AVATAR: A Parallel Corpus for Java-Python Program Translation [77.86173793901139]
プログラム翻訳とは、ある言語から別の言語へソースコードを移行することを指す。
AVATARは9,515のプログラミング問題とそのソリューションをJavaとPythonという2つの人気のある言語で記述したものです。
論文 参考訳（メタデータ） (2021-08-26T05:44:20Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） (2021-05-20T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。