論文の概要: Hey, That's My Data! Label-Only Dataset Inference in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.06057v1
• Date: Fri, 06 Jun 2025 13:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.480917
• Title: Hey, That's My Data! Label-Only Dataset Inference in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるラベルのみのデータセット推論
• Authors: Chen Xiong, Zihao Wang, Rui Zhu, Tsung-Yi Ho, Pin-Yu Chen, Jingwei Xiong, Haixu Tang, Lucila Ohno-Machado,
• Abstract要約: CatShiftはラベルのみのデータセット推論フレームワークである。 LLMは、新しいデータに晒されたとき、学習した知識を上書きする傾向にある。
• 参考スコア（独自算出の注目度）: 63.35066172530291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have revolutionized Natural Language Processing by excelling at interpreting, reasoning about, and generating human language. However, their reliance on large-scale, often proprietary datasets poses a critical challenge: unauthorized usage of such data can lead to copyright infringement and significant financial harm. Existing dataset-inference methods typically depend on log probabilities to detect suspicious training material, yet many leading LLMs have begun withholding or obfuscating these signals. This reality underscores the pressing need for label-only approaches capable of identifying dataset membership without relying on internal model logits. We address this gap by introducing CatShift, a label-only dataset-inference framework that capitalizes on catastrophic forgetting: the tendency of an LLM to overwrite previously learned knowledge when exposed to new data. If a suspicious dataset was previously seen by the model, fine-tuning on a portion of it triggers a pronounced post-tuning shift in the model's outputs; conversely, truly novel data elicits more modest changes. By comparing the model's output shifts for a suspicious dataset against those for a known non-member validation set, we statistically determine whether the suspicious set is likely to have been part of the model's original training corpus. Extensive experiments on both open-source and API-based LLMs validate CatShift's effectiveness in logit-inaccessible settings, offering a robust and practical solution for safeguarding proprietary data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の言語を解釈し、推論し、生成することに長け、自然言語処理に革命をもたらした。 しかし、大規模な、しばしばプロプライエタリなデータセットへの依存は、重要な課題となる。 既存のデータセット推論手法は通常、不審なトレーニング材料を検出するためのログの確率に依存するが、多くの主要なLCMがこれらの信号の保持や難読化を始めている。 この現実は、内部モデルロジットに頼ることなくデータセットのメンバシップを識別できるラベルのみのアプローチの必要性を強調している。 このギャップに対処するために、ラベルのみのデータセット推論フレームワークであるCatShiftを導入しました。 疑わしいデータセットが以前モデルによって見られた場合、その部分の微調整は、モデル出力の顕著な調整後のシフトを引き起こします。 疑わしいデータセットの出力シフトを、既知の非メンバー検証セットと比較することにより、疑わしいセットがモデルの元々のトレーニングコーパスの一部であるかどうかを統計的に判断する。 オープンソースとAPIベースのLLMの広範な実験は、ロジトアクセス不能な設定におけるCatShiftの有効性を検証し、プロプライエタリなデータを保護するための堅牢で実用的なソリューションを提供する。

関連論文リスト

• Self-Comparison for Dataset-Level Membership Inference in Large (Vision-)Language Models [73.94175015918059]
  本稿では,自己比較に基づくデータセットレベルのメンバシップ推定手法を提案する。 本手法では, 同一分布における地中構造データや非構造データへのアクセスは不要である。
  論文  参考訳（メタデータ） (2024-10-16T23:05:59Z)
• Data Taggants: Dataset Ownership Verification via Harmless Targeted Data Poisoning [12.80649024603656]
  本稿では,非バックドアデータセットのオーナシップ検証技術であるデータタグを新たに導入する。 我々は、VTモデルとResNetモデルと最先端のトレーニングレシピを用いて、ImageNet1kの包括的で現実的な実験を通してアプローチを検証する。
  論文  参考訳（メタデータ） (2024-10-09T12:49:23Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,グレーボックス条件下で動作可能である。 4つのベンチマークデータセットから35個の主要なオープンソースLCMのデータ漏洩度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
  マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。 難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-09-12T16:39:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。