論文の概要: Data Contamination Quiz: A Tool to Detect and Estimate Contamination in
Large Language Models
- arxiv url: http://arxiv.org/abs/2311.06233v5
- Date: Sat, 10 Feb 2024 22:28:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 21:44:00.237616
- Title: Data Contamination Quiz: A Tool to Detect and Estimate Contamination in
Large Language Models
- Title(参考訳): データ汚染クイズ:大規模言語モデルにおける汚染の検出と推定ツール
- Authors: Shahriar Golchin, Mihai Surdeanu
- Abstract要約: 大規模言語モデル(LLM)におけるデータ汚染を簡易かつ効果的に検出する手法を提案する。
データの汚染検出を複数項目の質問としてフレーム化し、各データセットインスタンスの3つの摂動バージョンを作成するクイズフォーマットを考案する。
生成された摂動バージョンは、元のインスタンスとともにDCQのオプションを形成し、提供された選択が正しくない可能性を調整した追加オプションを提供する。
- 参考スコア(独自算出の注目度): 29.56037518816495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose the Data Contamination Quiz (DCQ), a simple and effective approach
to detect data contamination in large language models (LLMs) and estimate the
amount of it. Specifically, we frame data contamination detection as a series
of multiple-choice questions and devise a quiz format wherein three perturbed
versions of each dataset instance are created. These changes only include
word-level perturbations. The generated perturbed versions, along with the
original instance, form the options in the DCQ, with an extra option
accommodating the possibility that none of the provided choices is correct.
Given that the only distinguishing signal among the choices is the exact
wording relative to the original instance, an LLM, when tasked with identifying
the original instance from the choices, gravitates towards the original one if
it has been exposed to it in its pre-training phase--a trait intrinsic to LLMs.
Tested over several datasets with GPT-4/3.5, our findings--while fully lacking
access to LLMs' pre-training data and internal parameters--suggest that DCQ
uncovers greater contamination levels compared to existing detection methods
and proficiently bypasses more safety filters, especially those set to avoid
generating copyrighted contents.
- Abstract(参考訳): 本研究では,大規模言語モデル(LLM)におけるデータ汚染の簡易かつ効果的な検出手法であるData Contamination Quiz (DCQ)を提案する。
具体的には、データの汚染検出を複数の質問の連続としてフレーム化し、各データセットインスタンスの3つの摂動バージョンを作成するクイズフォーマットを考案する。
これらの変更は単語レベルの摂動のみを含む。
生成された摂動バージョンは、元のインスタンスとともにDCQのオプションを形成し、提供された選択が正しくない可能性を調整した追加オプションを提供する。
選択の中で唯一区別される信号が、元のインスタンスに対する正確なワード処理であることを考えると、LLMは、選択から元のインスタンスを識別するタスクを課されたとき、前訓練フェーズでそのインスタンスに露呈された場合、元のインスタンスへ誘導する。
GPT-4/3.5を用いて複数のデータセットで検証した結果、LCMの事前学習データと内部パラメータへのアクセスが完全に欠如しているにもかかわらず、DCQは既存の検出方法と比較して汚染レベルが大きいことを明らかにし、特に著作権のあるコンテンツの生成を避けるためのセットを適切に回避している。
関連論文リスト
- Rethinking Benchmark and Contamination for Language Models with
Rephrased Samples [49.18977581962162]
大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。
多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
論文 参考訳(メタデータ) (2023-11-08T17:35:20Z) - Test-Time Self-Adaptive Small Language Models for Question Answering [63.91013329169796]
ラベルのないテストデータのみを用いて、より小さな自己適応型LMの能力を示し、検討する。
提案した自己適応戦略は,ベンチマークQAデータセットの大幅な性能向上を示す。
論文 参考訳(メタデータ) (2023-10-20T06:49:32Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Model Selection of Zero-shot Anomaly Detectors in the Absence of Labeled
Validation Data [19.919234682696306]
異常検出には、大きなラベルのないデータセットで異常サンプルを検出する必要がある。
SWSA: 生成した合成検証セットを用いて画像ベース異常検出装置を選択するためのフレームワークを提案する。
SWSAは, 基線法よりもAUROCの方が高い結果を得るため, 基底構造検証セットで選択したモデルを選択することが多い。
論文 参考訳(メタデータ) (2023-10-16T14:42:22Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳(メタデータ) (2023-09-07T17:44:56Z) - Time Travel in LLMs: Tracing Data Contamination in Large Language Models [29.56037518816495]
本稿では,大規模言語モデル(LLM)におけるデータ汚染の簡易かつ効果的な同定法を提案する。
私たちのアプローチの中核は、インスタンスレベルで潜在的汚染を特定することから始まります。
個別インスタンスの汚染を推定するために、データセット名、パーティションタイプ、参照インスタンスのランダム長初期セグメントからなるプロンプト「誘導命令」を用いる。
論文 参考訳(メタデータ) (2023-08-16T16:48:57Z) - LafitE: Latent Diffusion Model with Feature Editing for Unsupervised
Multi-class Anomaly Detection [12.596635603629725]
我々は,通常のデータのみにアクセス可能な場合に,複数のクラスに属するオブジェクトから異常を検出する統一モデルを開発した。
まず、生成的アプローチについて検討し、再構成のための潜伏拡散モデルについて検討する。
「拡散モデルの入力特徴空間を修正し、アイデンティティショートカットをさらに緩和する特徴編集戦略を導入する。」
論文 参考訳(メタデータ) (2023-07-16T14:41:22Z) - Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning
and Coding with LLMs [60.58434523646137]
大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。
コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。
実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
論文 参考訳(メタデータ) (2023-05-19T17:49:25Z) - Unsupervised Model Selection for Time-series Anomaly Detection [7.8027110514393785]
提案手法は, 予測誤差, モデル中心性, および, 注入された合成異常に対する性能の3種類のサロゲート(教師なし)メトリクスを同定する。
我々は、厳密なランク集約問題として、複数の不完全なサロゲート指標との計量結合を定式化する。
複数の実世界のデータセットに対する大規模な実験は、我々の提案した教師なしアプローチが、最も正確なモデルを選択するのと同じくらい効果的であることを示す。
論文 参考訳(メタデータ) (2022-10-03T16:49:30Z) - Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D
Object Detection [85.11649974840758]
3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。
そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
論文 参考訳(メタデータ) (2021-11-30T18:42:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。