論文の概要: Data Contamination Quiz: A Tool to Detect and Estimate Contamination in Large Language Models

• arxiv url: http://arxiv.org/abs/2311.06233v6
• Date: Fri, 24 May 2024 06:14:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-27 23:46:28.525041
• Title: Data Contamination Quiz: A Tool to Detect and Estimate Contamination in Large Language Models
• Title（参考訳）: データ汚染クイズ:大規模言語モデルにおける汚染の検出と推定ツール
• Authors: Shahriar Golchin, Mihai Surdeanu,
• Abstract要約: 本研究では,大規模言語モデル(LLM)におけるデータ汚染を簡易かつ効果的に検出し,その量を推定する手法を提案する。 我々は、複数の質問の連続としてデータ汚染検出をフレーム化し、特定のデータセット分割から各サブサンプルインスタンスの3つの摂動バージョンを作成するクイズ形式を考案する。 以上の結果から,DCQは現状の成果を達成し,既存の方法に比べて汚染・記憶レベルが高いことが示唆された。
• 参考スコア（独自算出の注目度）: 25.022166664832596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose the Data Contamination Quiz (DCQ), a simple and effective approach to detect data contamination in large language models (LLMs) and estimate the amount of it. Specifically, we frame data contamination detection as a series of multiple-choice questions and devise a quiz format wherein three perturbed versions of each subsampled instance from a specific dataset partition (e.g., GSM8k test set) are created. These changes only include word-level perturbations. The generated perturbations, along with the original dataset instance, form the options in the DCQ, with an extra option accommodating the possibility of selecting none of the provided options. Given that the only distinguishing signal among the options is the exact wording with respect to the original dataset instance, an LLM, when tasked with identifying the original dataset instance, gravitates towards selecting the original one if it has been exposed to it in its pre-training phase -- a trait intrinsic to LLMs. While accounting for positional biases in LLMs, the quiz performance reveals the contamination level for the model being examined with the dataset partition to which the quiz pertains. Applied to various datasets with GPT-4 and GPT-3.5, our findings -- while fully lacking access to pre-training data and model parameters -- suggest that DCQ achieves state-of-the-art results and uncovers greater contamination/memorization levels compared to existing methods and proficiently bypasses more safety filters, especially those set to avoid generating copyrighted contents.
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるデータ汚染を簡易かつ効果的に検出し,その量を推定するデータ汚染クイズ(DCQ)を提案する。 具体的には,各サブサンプルインスタンスの3つの摂動バージョンを,特定のデータセット分割(例えば,GSM8kテストセット)から生成するクイズ形式を考案する。 これらの変化は単語レベルの摂動のみを含む。 生成された摂動は、元のデータセットインスタンスとともにDCQのオプションを形成し、提供される選択肢のどれも選択できない余分なオプションを提供する。 オプションの中で唯一区別されるシグナルが、元のデータセットインスタンスに関する正確なワード処理であることを考えると、LLMは、オリジナルのデータセットインスタンスを識別するタスクをタスクとして、トレーニング前フェーズ(LLMに固有の特性)で露出した場合に、元のデータセットインスタンスを選択する方向に誘導する。 LLMにおける位置バイアスを考慮しながら、クイズ性能は、クイズが関連するデータセット分割で調べられるモデルの汚染レベルを明らかにする。 GPT-4とGPT-3.5を併用した各種データセットに適用すると、事前学習データやモデルパラメータへのアクセスが完全に欠如しているにもかかわらず、DCQは最先端の結果を達成し、既存の方法と比較して汚染・記憶レベルが大きくなることを示唆し、特に著作権のあるコンテンツの生成を避けるために、より安全性の高いフィルタを適切に回避している。

関連論文リスト

• CBW: Towards Dataset Ownership Verification for Speaker Verification via Clustering-based Backdoor Watermarking [85.68235482145091]
  大規模音声データセットは貴重な知的財産となった。 本稿では,新しいデータセットのオーナシップ検証手法を提案する。 我々のアプローチはクラスタリングに基づくバックドア透かし(CBW)を導入している。 我々は,ベンチマークデータセットに対する広範な実験を行い,本手法の有効性とロバスト性を検証した。
  論文  参考訳（メタデータ） (2025-03-02T02:02:57Z)
• PATH: A Discrete-sequence Dataset for Evaluating Online Unsupervised Anomaly Detection Approaches for Multivariate Time Series [0.01874930567916036]
  多変量時系列に対する異常検出手法のベンチマークは、高品質なデータセットが不足しているため、難しい課題である。 我々は、最先端のシミュレーションツールによって生成される多種多様な、広範囲で、非自明なデータセットという解決策を提案する。 我々のデータセットは離散列問題を表しており、文献でこれまで提案されていた解には未適応のままである。
  論文  参考訳（メタデータ） (2024-11-21T09:03:12Z)
• Does Data Contamination Detection Work (Well) for LLMs? A Survey and Evaluation on Detection Assumptions [20.51842378080194]
  大規模言語モデル(LLM)は、様々なベンチマークで優れた性能を示し、汎用的なタスクソルバとしての可能性を示している。 LLMは典型的には大量のデータに基づいて訓練されるため、その評価において重要な関心事はデータ汚染である。 データ汚染検出に関する50の論文を体系的にレビューし、基礎となる仮定を分類し、厳格に検証されたかどうかを評価する。
  論文  参考訳（メタデータ） (2024-10-24T17:58:22Z)
• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Retrieval-Augmented Data Augmentation for Low-Resource Domain Tasks [66.87070857705994]
  低リソース環境では、データ拡張に使用するシードデータサンプルの量は極めて少ない。 本稿では、他のデータセットから豊富なサンプルを組み込むことで、トレーニングデータを増強する新しい手法を提案する。 このアプローチは、生成されたデータが関連性だけでなく、限られたシードデータだけで達成できるものよりも多様であることを保証する。
  論文  参考訳（メタデータ） (2024-02-21T02:45:46Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Time Travel in LLMs: Tracing Data Contamination in Large Language Models [29.56037518816495]
  本稿では,大規模言語モデル(LLM)におけるデータ汚染の簡易かつ効果的な同定法を提案する。 私たちのアプローチの中核は、インスタンスレベルで潜在的汚染を特定することから始まります。 個別インスタンスの汚染を推定するために、データセット名、パーティションタイプ、参照インスタンスのランダム長初期セグメントからなるプロンプト「誘導命令」を用いる。
  論文  参考訳（メタデータ） (2023-08-16T16:48:57Z)
• Industrial Anomaly Detection with Domain Shift: A Real-world Dataset and Masked Multi-scale Reconstruction [2.921945366485149]
  産業品質検査の自動化には,産業異常検出(IAD)が不可欠である。 既存のIADデータセットは、データカテゴリの多様性に重点を置いている。 本稿では,2つのサブデータセットからなるエアロエンジンブレード異常検出(AeBAD)データセットを提案する。
  論文  参考訳（メタデータ） (2023-04-05T04:07:54Z)
• Unsupervised Model Selection for Time-series Anomaly Detection [7.8027110514393785]
  提案手法は, 予測誤差, モデル中心性, および, 注入された合成異常に対する性能の3種類のサロゲート(教師なし)メトリクスを同定する。 我々は、厳密なランク集約問題として、複数の不完全なサロゲート指標との計量結合を定式化する。 複数の実世界のデータセットに対する大規模な実験は、我々の提案した教師なしアプローチが、最も正確なモデルを選択するのと同じくらい効果的であることを示す。
  論文  参考訳（メタデータ） (2022-10-03T16:49:30Z)
• Pareto Optimization for Active Learning under Out-of-Distribution Data Scenarios [79.02009938011447]
  本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。 実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
  論文  参考訳（メタデータ） (2022-07-04T04:11:44Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• Distributed Multivariate Regression Modeling For Selecting Biomarkers Under Data Protection Constraints [0.0]
  本稿では,反復呼び出しにおける集約データに基づく自動変数選択によるバイオマーカー同定のための多変数回帰手法を提案する。 このアプローチは、複数のロケーションに分散したデータを共同で分析するために使用することができる。 シミュレーションでは、局所的な標準化によって引き起こされた情報損失は最小限である。
  論文  参考訳（メタデータ） (2018-03-01T15:04:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。