論文の概要: DICE: Detecting In-distribution Contamination in LLM's Fine-tuning Phase for Math Reasoning
- arxiv url: http://arxiv.org/abs/2406.04197v1
- Date: Thu, 6 Jun 2024 15:55:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 14:10:28.862048
- Title: DICE: Detecting In-distribution Contamination in LLM's Fine-tuning Phase for Math Reasoning
- Title（参考訳）: DICE:数学推論のためのLDMの微調整相における分布内汚染の検出
- Authors: Shangqing Tu, Kejian Zhu, Yushi Bai, Zijun Yao, Lei Hou, Juanzi Li,
- Abstract要約: ベンチマークデータに類似したデータによるトレーニングでさえ、全体的な能力を改善することなく、配信中のタスクのパフォーマンスを膨らませる、と我々は主張する。
そこで本研究では,LSMの内部状態を利用して汚染を検出・検出する新しい手法であるDICEを提案する。
実験により、DICEは様々なLSMおよび数学推論データセットにまたがる分布内汚染を検出するのに高い精度を示している。
- 参考スコア（独自算出の注目度）: 40.57095898475888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advancement of large language models (LLMs) relies on evaluation using public benchmarks, but data contamination can lead to overestimated performance. Previous researches focus on detecting contamination by determining whether the model has seen the exact same data during training. In this work, we argue that even training on data similar to benchmark data inflates performance on in-distribution tasks without improving overall capacity, which we called In-distribution contamination. To effectively detect in-distribution contamination, we propose DICE, a novel method that leverages the internal states of LLMs to locate-then-detect the contamination. DICE first identifies the most sensitive layer to contamination, then trains a classifier based on the internal states of that layer. Experiments reveal DICE's high accuracy in detecting in-distribution contamination across various LLMs and math reasoning datasets. We also show the generalization capability of the trained DICE detector, which is able to detect contamination across multiple benchmarks with similar distributions. Additionally, we find that the DICE detection scores are positively correlated with the performance of ten LLMs fine-tuned by either us or other organizations on four math reasoning datasets (with $R^2$ values between 0.6 and 0.75). This indicates that the in-distribution contamination problem potentially lead to an overestimation of the true capabilities of many existing models. The code and data are available at https://github.com/THU-KEG/DICE.
- Abstract（参考訳）: 大規模言語モデル(LLM)の進歩は、公開ベンチマークによる評価に依存するが、データ汚染は過大評価パフォーマンスをもたらす可能性がある。
従来の研究は、トレーニング中にモデルが全く同じデータを見たかどうかを判断することで汚染を検出することに重点を置いていた。
本研究では、ベンチマークデータに類似したデータによるトレーニングでさえ、全体的な能力を改善することなく、インディストリビューションタスクのパフォーマンスを膨張させ、インディストリビューション汚染(In-distriion contamination)と呼ぶ。
そこで本研究では,LSMの内部状態を利用して汚染を検出・検出する新しい手法であるDICEを提案する。
DICEはまず汚染に対して最も敏感な層を特定し、その層の内部状態に基づいて分類器を訓練する。
実験により、DICEは様々なLSMおよび数学推論データセットにまたがる分布内汚染を検出するのに高い精度を示している。
また、類似した分布を持つ複数のベンチマーク間で汚染を検出することができる訓練されたDICE検出器の一般化能力を示す。
さらに、DICE検出スコアは、4つの数学推論データセット(0.6から0.75のR^2$値)において、私たちまたは他の組織によって微調整された10個のLLMの性能と正の相関関係があることが判明した。
このことは、分布内汚染問題は、既存の多くのモデルの真の能力を過大評価する可能性があることを示している。
コードとデータはhttps://github.com/THU-KEG/DICE.comで公開されている。
関連論文リスト
- Evaluation data contamination in LLMs: how do we measure it and (when) does it matter? [10.691754344782387]
どのサンプルを汚染されるべきか、それがベンチマークスコアに与える影響を正確に定義することは困難である。
本稿では,ConTAMと呼ばれる新しい分析手法を提案する。
汚染は最近のLCMリリースで報告されたよりもはるかに大きな効果を示し、異なるスケールで異なるモデルに利益をもたらす可能性がある。
論文 参考訳（メタデータ） (2024-11-06T13:54:08Z) - CAP: Data Contamination Detection via Consistency Amplification [20.135264289668463]
大規模言語モデル(LLM)は広く使われているが、データの汚染に関する懸念は信頼性に疑問を呈している。
本稿では,データセットの漏洩量を測定するためのPCR(Performance Consistency Ratio)を導入した新しいフレームワークである Consistency Amplification-based Data Contamination Detection (CAP)を提案する。
CAPは様々なベンチマークに適用でき、ホワイトボックスモデルとブラックボックスモデルの両方で動作する。
論文 参考訳（メタデータ） (2024-10-19T06:33:33Z) - Resultant: Incremental Effectiveness on Likelihood for Unsupervised Out-of-Distribution Detection [63.93728560200819]
unsupervised out-of-distribution (U-OOD) は、未表示のin-distriion(ID)データのみに基づいて訓練された検出器でデータサンプルを識別することである。
近年の研究は、DGMに基づく様々な検出器を開発し、可能性を超えて移動している。
本研究では,各方向,特にポストホック前とデータセットエントロピー・ミューチュアルキャリブレーションの2つの手法を適用した。
実験の結果、結果が新しい最先端のU-OOD検出器になる可能性が示された。
論文 参考訳（メタデータ） (2024-09-05T02:58:13Z) - Inference-Time Decontamination: Reusing Leaked Benchmarks for Large Language Model Evaluation [61.350306618479365]
ベンチマークの漏洩は、大規模言語モデルの真のパフォーマンスの正確な評価を防ぐことができる。
この問題に対処するため,ITD(Inference-Time Decontamination)を提案する。
ITDは、GSM8Kで22.9%、MMLUで19.0%の膨張精度を低下させる。
論文 参考訳（メタデータ） (2024-06-20T04:35:59Z) - Data Contamination Can Cross Language Barriers [29.103517721155487]
大規模言語モデル(LLM)の開発における不透明さは、事前学習データにおける公開ベンチマークの汚染の可能性への懸念が高まっている。
まず, 電流検出手法を回避しつつ, LLMの性能を増大させる多言語性汚染について述べる。
本稿では,このような汚染を深く隠蔽する一般化に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-06-19T05:53:27Z) - Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models [42.958880063727996]
CDD は LLM の出力分布による汚染検出の略である。
評価におけるデータ汚染の影響を軽減するため、TED:出力分布による信頼に値する評価も提示する。
論文 参考訳（メタデータ） (2024-02-24T23:54:41Z) - Rethinking Benchmark and Contamination for Language Models with
Rephrased Samples [49.18977581962162]
大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。
多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
論文 参考訳（メタデータ） (2023-11-08T17:35:20Z) - Data Contamination Through the Lens of Time [21.933771085956426]
大規模言語モデル(LLM)は一般に利用可能なベンチマークを評価することでしばしばサポートされる。
このプラクティスは、データ汚染の懸念、すなわち、トレーニングデータに明示的にまたは暗黙的に含まれている例を評価することを提起する。
GPTモデルにおけるトレーニングカットオフの自然実験を用いて, LLMにおけるデータ汚染の経時的解析を行った。
論文 参考訳（メタデータ） (2023-10-16T17:51:29Z) - Hierarchical Semi-Supervised Contrastive Learning for
Contamination-Resistant Anomaly Detection [81.07346419422605]
異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。
コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。
汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-24T18:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。