論文の概要: On Leakage of Code Generation Evaluation Datasets
- arxiv url: http://arxiv.org/abs/2407.07565v3
- Date: Thu, 03 Oct 2024 16:48:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 23:30:20.599028
- Title: On Leakage of Code Generation Evaluation Datasets
- Title(参考訳): コード生成評価データセットの漏洩について
- Authors: Alexandre Matton, Tom Sherborne, Dennis Aumiller, Elena Tommasone, Milad Alizadeh, Jingyi He, Raymond Ma, Maxime Voisin, Ellen Gilsenan-McMahon, Matthias Gallé,
- Abstract要約: コード生成テストセットによる汚染について考察する。
これを解決するために、LBPP(Less Basic Python Problems)をリリースします。
- 参考スコア(独自算出の注目度): 44.4726918027046
- License:
- Abstract: In this paper, we consider contamination by code generation test sets, in particular in their use in modern large language models. We discuss three possible sources of such contamination and show findings supporting each of them: (i) direct data leakage, (ii) indirect data leakage through the use of synthetic data and (iii) overfitting to evaluation sets during model selection. To address this, we release Less Basic Python Problems (LBPP): an uncontaminated new benchmark of 161 prompts with their associated Python solutions. LBPP is released at https://huggingface.co/datasets/CohereForAI/lbpp .
- Abstract(参考訳): 本稿では,コード生成テストセットによる汚染について考察する。
このような汚染の原因を3つ議論し、それぞれを裏付ける知見を示す。
(i)直接データ漏洩
二 合成データを利用した間接的データ漏洩
三 モデル選択時の評価セットに過度に適合すること。
これを解決するために、LBPP(Less Basic Python Problems)をリリースします。
LBPPはhttps://huggingface.co/datasets/CohereForAI/lbpp でリリースされている。
関連論文リスト
- Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳(メタデータ) (2024-07-20T01:34:13Z) - Overcoming Catastrophic Forgetting in Tabular Data Classification: A Pseudorehearsal-based approach [0.757843972001219]
継続学習(CL)は、以前取得した知識を忘れずに、データ分散の進化に適応する上で重要な課題となる。
本稿では,データ分類問題における破滅的忘れの現象に対処するために,Tarbular-data Rehearsal-based Incremental Lifelong Learning framework (TRIL3) という新しい手法を提案する。
論文 参考訳(メタデータ) (2024-07-12T07:04:06Z) - SEGAN: semi-supervised learning approach for missing data imputation [12.552699799009037]
本稿では,セミ教師付き学習に基づくデータ補完モデルSEGANを提案する。
SEGANモデルでは、ジェネレータは、欠落したデータ値を予測する際に、既知のデータとそのラベル情報をよりフルに利用することができる。
本稿では,SEGANモデルがナッシュ平衡に達すると,実データ分布特性を学習できることを理論的に証明する。
論文 参考訳(メタデータ) (2024-05-21T11:42:20Z) - Stable Diffusion Dataset Generation for Downstream Classification Tasks [4.470499157873342]
本稿では,Stable Diffusion 2.0モデルの合成データセット生成への応用について検討する。
本稿では,クラスエンコーダとキー生成パラメータの最適化を利用したクラス条件付きモデルを提案する。
その3分の1のケースでは、実際のデータセットでトレーニングされたデータセットよりも優れたパフォーマンスのモデルが生成されました。
論文 参考訳(メタデータ) (2024-05-04T15:37:22Z) - Fact Checking Beyond Training Set [64.88575826304024]
本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。
本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。
次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
論文 参考訳(メタデータ) (2024-03-27T15:15:14Z) - LatestEval: Addressing Data Contamination in Language Model Evaluation
through Dynamic and Time-Sensitive Test Construction [21.553915781660905]
LatestEvalは、最新のテキストを活用して、非汚染読影理解評価を作成する自動手法である。
これは、最近のタイムウインドウで公開されたテキストのみを使用することでデータ汚染を回避し、事前訓練された言語モデルのトレーニングコーパスと重複しないようにする。
実験の結果,従来のベンチマークとは対照的に,言語モデルは LatestEval 上で無視可能な記憶行動を示すことがわかった。
論文 参考訳(メタデータ) (2023-12-19T17:16:43Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳(メタデータ) (2023-05-16T07:30:29Z) - Data Contamination: From Memorization to Exploitation [5.997909991352044]
下流タスクにおいて、モデルがどのように汚染されたデータを悪用しているかは明らかではない。
我々は、ウィキペディアの共同コーパスでBERTモデルを事前訓練し、下流データセットをラベル付けし、関連するタスクでそれらを微調整する。
2つのモデルと3つのダウンストリームタスクによる実験では、いくつかのケースでは悪用が存在するが、他のケースでは、汚染されたデータを記憶しているが、悪用しない。
論文 参考訳(メタデータ) (2022-03-15T20:37:16Z) - Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D
Object Detection [85.11649974840758]
3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。
そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
論文 参考訳(メタデータ) (2021-11-30T18:42:42Z) - The Gap on GAP: Tackling the Problem of Differing Data Distributions in
Bias-Measuring Datasets [58.53269361115974]
バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。
収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。
実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
論文 参考訳(メタデータ) (2020-11-03T16:50:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。