論文の概要: On Inter-dataset Code Duplication and Data Leakage in Large Language Models

• arxiv url: http://arxiv.org/abs/2401.07930v2
• Date: Thu, 1 Aug 2024 09:49:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-02 18:59:12.666559
• Title: On Inter-dataset Code Duplication and Data Leakage in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるデータセット間符号重複とデータ漏洩について
• Authors: José Antonio Hernández López, Boqi Chen, Mootez Saaz, Tushar Sharma, Dániel Varró,
• Abstract要約: 本稿では,データセット間の重複現象とその大規模言語モデル(LLM)評価への影響について検討する。 この結果から,複数のSEタスクにまたがるLCMの評価は,データ間重複現象に起因する可能性が示唆された。 オープンソースモデルがデータセット間の重複に影響される可能性があることを示す。
• 参考スコア（独自算出の注目度）: 4.148857672591562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivation. Large language models (LLMs) have exhibited remarkable proficiency in diverse software engineering (SE) tasks. Handling such tasks typically involves acquiring foundational coding knowledge on large, general-purpose datasets during a pre-training phase, and subsequently refining on smaller, task-specific datasets as part of a fine-tuning phase. Problem statement. While intra-dataset code duplication examines the intersection between the training and test splits within a given dataset and has been addressed in prior research, inter-dataset code duplication, which gauges the overlap between different datasets, remains largely unexplored. If this phenomenon exists, it could compromise the integrity of LLM evaluations because of the inclusion of fine-tuning test samples that were already encountered during pre-training, resulting in inflated performance metrics. Contribution. This paper explores the phenomenon of inter-dataset code duplication and its impact on evaluating LLMs across diverse SE tasks. Study design. We conduct an empirical study using the CodeSearchNet dataset (CSN), a widely adopted pre-training dataset, and five fine-tuning datasets used for various se tasks. We first identify the intersection between the pre-training and fine-tuning datasets using a deduplication process. Next, we pre-train two versions of LLMs using a subset of CSN: one leaky LLM and one non-leaky LLM. Finally, we fine-tune both models and compare their performances using leaky fine-tuning test samples. Results. Our findings reveal a potential threat to the evaluation of LLMs across multiple SE tasks, stemming from the inter-dataset code duplication phenomenon. We also demonstrate that this threat is accentuated by the chosen fine-tuning technique. Furthermore, we provide evidence that open-source models could be affected by inter-dataset duplication.
• Abstract（参考訳）: モチベーション。 大規模言語モデル(LLM)は、多様なソフトウェア工学(SE)タスクにおいて顕著な熟練度を示した。 このようなタスクの処理は、トレーニング前の段階で、大規模で汎用的なデータセットに関する基礎的なコーディング知識を取得し、その後、微調整フェーズの一部として、小さなタスク固有のデータセットを精算するのが一般的である。 問題文。 データセット内コードの重複は、与えられたデータセット内のトレーニングとテストの分割の交差点を調べ、以前の研究で対処されているが、データセット間の重複を計測するデータセット間コードの重複は、ほとんど探索されていない。 もしこの現象が存在するなら、事前トレーニング中に既に遭遇していた微調整されたテストサンプルが含まれているため、LCM評価の整合性を損なう可能性がある。 貢献。 本稿では,データセット間の重複現象とその多種多様なSEタスクにおけるLCM評価への影響について検討する。 デザインを学ぶ。 我々は、広く採用されている事前学習データセットであるCodeSearchNetデータセット(CSN)と、さまざまなセマンティックタスクに使用される5つの微調整データセットを用いて、実証的研究を行う。 まず,復号化プロセスを用いて,事前学習データセットと微調整データセットの交点を同定する。 次に,CSNのサブセットを用いて,LLMの2つのバージョンを事前訓練する。 最後に、両方のモデルを微調整し、漏れやすい微調整テストサンプルを用いてそれらの性能を比較する。 結果。 この結果から,複数のSEタスクにまたがるLCMの評価は,データ間重複現象に起因する可能性が示唆された。 また、この脅威は選択した微調整技術によって強調されることを示す。 さらに,オープンソースモデルがデータセット間複製の影響を受けやすいことを示す。

関連論文リスト

• Empirical Insights on Fine-Tuning Large Language Models for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)
• A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting [45.0261082985087]
  時間的事象予測のための大規模言語モデル(LLM)を総合的に評価する。 LLMの入力に生テキストを直接統合しても、ゼロショット補間性能は向上しないことがわかった。 対照的に、特定の複雑なイベントや微調整LDMに生テキストを組み込むことで、性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-07-16T11:58:54Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• PISTOL: Dataset Compilation Pipeline for Structural Unlearning of LLMs [31.16117964915814]
  訓練済みまたは微調整済みのモデルに格納された特定のデータを消去しようとする機械学習は、LLMにとって重要な保護措置として登場した。 構造的アンラーニング手法の開発を容易にするため,マルチシナリオデータセットをコンパイルするパイプラインであるPISTOLを提案する。 Llama2-7BモデルとMistral-7Bモデルの両方で4つの異なる未学習手法を用いてベンチマークを行う。
  論文  参考訳（メタデータ） (2024-06-24T17:22:36Z)
• Elephants Never Forget: Testing Language Models for Memorization of Tabular Data [21.912611415307644]
  大規模言語モデル (LLM) は様々なタスクに適用できるが、データ汚染と記憶の重大な問題はしばしば誇張される。 本稿では, 条件分布モデリングの統計的テストや, 暗記を識別する4つのテストなど, 汚染度を評価するための様々な手法を紹介する。
  論文  参考訳（メタデータ） (2024-03-11T12:07:13Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Enhancing Subtask Performance of Multi-modal Large Language Model [12.033301861738952]
  MLLM(Multi-modal Large Language Model)は、マルチモーダルデータを扱う能力を持つLarge Language Model(LLM)から拡張されたモデルである。 本研究では、異なる評価手法に基づいて、同一サブタスクに焦点を当てた複数の事前学習モデルを選択する。 同じサブタスクに対する複数の事前学習モデルの結果をLLMを用いて比較し、そのサブタスクの結果として最もよい結果を選択する。
  論文  参考訳（メタデータ） (2023-08-31T05:37:21Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。