Fugu-MT 論文翻訳(概要): How Contaminated Is Your Benchmark? Quantifying Dataset Leakage in Large Language Models with Kernel Divergence

論文の概要: How Contaminated Is Your Benchmark? Quantifying Dataset Leakage in Large Language Models with Kernel Divergence

arxiv url: http://arxiv.org/abs/2502.00678v1
Date: Sun, 02 Feb 2025 05:50:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 15:05:54.347762
Title: How Contaminated Is Your Benchmark? Quantifying Dataset Leakage in Large Language Models with Kernel Divergence
Title（参考訳）: ベンチマークはどのように汚染されているか? カーネルの多様性を伴う大規模言語モデルにおけるデータセットリークの定量化
Authors: Hyeong Kyu Choi, Maxim Khanov, Hongxin Wei, Yixuan Li,
Abstract要約: データセットはトレーニング前のコーパスと重複し、パフォーマンスメトリクスを膨らませ、モデル評価の信頼性を損なう。我々は,サンプル埋め込みのカーネル類似度行列間のばらつきを計算し,データセット汚染を定量化する新しい手法であるKernel Divergence Score (KDS)を提案する。 KDSは汚染レベルとほぼ完璧な相関を示し、既存のベースラインを上回っている。
参考スコア（独自算出の注目度）: 23.019102917957152
License:
Abstract: Dataset contamination, where evaluation datasets overlap with pre-training corpora, inflates performance metrics and undermines the reliability of model evaluations. Quantifying dataset contamination thus becomes essential to ensure that performance evaluations genuinely reflect a model's ability to generalize to unseen data, rather than relying on memorized examples. To address this problem, we propose Kernel Divergence Score (KDS), a novel method that quantifies dataset contamination by computing the divergence between the kernel similarity matrix of sample embeddings, before and after fine-tuning on the benchmark dataset. Leveraging the insight that fine-tuning affects unseen samples more significantly than seen ones, KDS provides a reliable measure of contamination. Through extensive experiments on controlled contamination scenarios, KDS demonstrates a near-perfect correlation with contamination levels and outperforms existing baselines. Additionally, we perform comprehensive ablation studies to analyze the impact of key design choices, providing deeper insights into the components and effectiveness of KDS. These ablations highlight the importance of leveraging fine-grained kernel-based information and confirm the reliability of the proposed framework across diverse datasets and settings.
Abstract（参考訳）: 評価データセットと事前学習コーパスが重なり合うデータセット汚染は、パフォーマンス指標を膨らませ、モデル評価の信頼性を損なう。したがって、データセットの汚染の定量化は、記憶された例に頼るのではなく、モデルが見えないデータに一般化する能力を真に反映することを保証するために必要となる。この問題を解決するために、ベンチマークデータセットの微調整前後のサンプル埋め込みのカーネル類似度行列間のばらつきを計算し、データセット汚染を定量化する新しい手法であるKDS(Kernel Divergence Score)を提案する。微調整が目に見えないサンプルに悪影響を及ぼすという知見を活用することで、KDSは汚染の信頼できる測定方法を提供する。制御された汚染シナリオに関する広範な実験を通じて、KDSは汚染レベルとほぼ完璧な相関を示し、既存のベースラインを上回っている。さらに、我々は、キーデザイン選択の影響を分析するために包括的なアブレーション研究を行い、KDSの構成要素と有効性についてより深い洞察を提供する。これらの改善は、粒度の細かいカーネルベースの情報を活用することの重要性を強調し、さまざまなデータセットや設定にまたがって提案されたフレームワークの信頼性を確認する。

関連論文リスト

A Survey on Data Contamination for Large Language Models [12.431575579432458]
大規模言語モデル(LLM)は、テキスト生成やコード合成など、様々な分野で大きな進歩を見せている。データ汚染による性能評価の信頼性は精査されている。
論文参考訳（メタデータ） (2025-02-20T10:23:27Z)
AdEval: Alignment-based Dynamic Evaluation to Mitigate Data Contamination in Large Language Models [2.463617251923349]
AdEvalはデータ汚染が信頼性に与える影響を緩和することを目的とした動的データ評価手法である。キーとなる知識ポイントと主要なアイデアを抽出し、動的に生成された質問を静的データの中核的な概念と整合させる。また、オンライン検索を活用して、関連する知識ポイントの詳細な説明を提供し、高品質な評価サンプルを作成する。
論文参考訳（メタデータ） (2025-01-23T06:57:24Z)
Testing and Improving the Robustness of Amortized Bayesian Inference for Cognitive Models [0.5223954072121659]
汚染物質観測とアウトリーチは、認知モデルのパラメータを推定する際にしばしば問題を引き起こす。本研究では,アモルタイズされたベイズ推定を用いたパラメータ推定のロバスト性を検証・改善する。提案手法は実装が簡単で実用的であり,外乱検出や除去が困難な分野に適用可能である。
論文参考訳（メタデータ） (2024-12-29T21:22:24Z)
Adversarial Purification by Consistency-aware Latent Space Optimization on Data Manifolds [48.37843602248313]
ディープニューラルネットワーク(DNN)は、クリーンデータに知覚不能な摂動を加えることで作られた敵のサンプルに対して脆弱であり、誤った危険な予測につながる可能性がある。本稿では、事前学習された一貫性モデルの潜在空間内のベクトルを最適化し、クリーンなデータを復元するためのサンプルを生成する、一貫性モデルに基づく適応的パーフィケーション(CMAP)を提案する。 CMAPは、高い自然な精度を維持しながら、強力な敵攻撃に対する堅牢性を著しく向上させる。
論文参考訳（メタデータ） (2024-12-11T14:14:02Z)
Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。 UE識別のための反復フィルタリング手法を提案する。
論文参考訳（メタデータ） (2024-08-15T13:26:13Z)
ConStat: Performance-Based Contamination Detection in Large Language Models [7.305342793164905]
コンスタット(ConStat)は、参照モデルの集合に対する一次ベンチマークと参照ベンチマークのパフォーマンスを比較することで、汚染を確実に検出し、定量化する統計手法である。多様なモデルアーキテクチャ,ベンチマーク,汚染シナリオの広範な評価において,ConStatの有効性を実証する。
論文参考訳（メタデータ） (2024-05-25T15:36:37Z)
Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models [42.958880063727996]
CDD は LLM の出力分布による汚染検出の略である。評価におけるデータ汚染の影響を軽減するため、TED:出力分布による信頼に値する評価も提示する。
論文参考訳（メタデータ） (2024-02-24T23:54:41Z)
KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
論文参考訳（メタデータ） (2024-02-23T01:30:39Z)
The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文参考訳（メタデータ） (2024-01-25T09:18:51Z)
Doing Great at Estimating CATE? On the Neglected Assumptions in Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文参考訳（メタデータ） (2021-07-28T13:21:27Z)
Decomposed Adversarial Learned Inference [118.27187231452852]
我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。 DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。 MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
論文参考訳（メタデータ） (2020-04-21T20:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。