論文の概要: Hey, That's My Data! Label-Only Dataset Inference in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.06057v1
• Date: Fri, 06 Jun 2025 13:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.480917
• Title: Hey, That's My Data! Label-Only Dataset Inference in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるラベルのみのデータセット推論
• Authors: Chen Xiong, Zihao Wang, Rui Zhu, Tsung-Yi Ho, Pin-Yu Chen, Jingwei Xiong, Haixu Tang, Lucila Ohno-Machado,
• Abstract要約: CatShiftはラベルのみのデータセット推論フレームワークである。 LLMは、新しいデータに晒されたとき、学習した知識を上書きする傾向にある。
• 参考スコア（独自算出の注目度）: 63.35066172530291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have revolutionized Natural Language Processing by excelling at interpreting, reasoning about, and generating human language. However, their reliance on large-scale, often proprietary datasets poses a critical challenge: unauthorized usage of such data can lead to copyright infringement and significant financial harm. Existing dataset-inference methods typically depend on log probabilities to detect suspicious training material, yet many leading LLMs have begun withholding or obfuscating these signals. This reality underscores the pressing need for label-only approaches capable of identifying dataset membership without relying on internal model logits. We address this gap by introducing CatShift, a label-only dataset-inference framework that capitalizes on catastrophic forgetting: the tendency of an LLM to overwrite previously learned knowledge when exposed to new data. If a suspicious dataset was previously seen by the model, fine-tuning on a portion of it triggers a pronounced post-tuning shift in the model's outputs; conversely, truly novel data elicits more modest changes. By comparing the model's output shifts for a suspicious dataset against those for a known non-member validation set, we statistically determine whether the suspicious set is likely to have been part of the model's original training corpus. Extensive experiments on both open-source and API-based LLMs validate CatShift's effectiveness in logit-inaccessible settings, offering a robust and practical solution for safeguarding proprietary data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の言語を解釈し、推論し、生成することに長け、自然言語処理に革命をもたらした。 しかし、大規模な、しばしばプロプライエタリなデータセットへの依存は、重要な課題となる。 既存のデータセット推論手法は通常、不審なトレーニング材料を検出するためのログの確率に依存するが、多くの主要なLCMがこれらの信号の保持や難読化を始めている。 この現実は、内部モデルロジットに頼ることなくデータセットのメンバシップを識別できるラベルのみのアプローチの必要性を強調している。 このギャップに対処するために、ラベルのみのデータセット推論フレームワークであるCatShiftを導入しました。 疑わしいデータセットが以前モデルによって見られた場合、その部分の微調整は、モデル出力の顕著な調整後のシフトを引き起こします。 疑わしいデータセットの出力シフトを、既知の非メンバー検証セットと比較することにより、疑わしいセットがモデルの元々のトレーニングコーパスの一部であるかどうかを統計的に判断する。 オープンソースとAPIベースのLLMの広範な実験は、ロジトアクセス不能な設定におけるCatShiftの有効性を検証し、プロプライエタリなデータを保護するための堅牢で実用的なソリューションを提供する。

関連論文リスト

• Unlocking Post-hoc Dataset Inference with Synthetic Data [11.886166976507711]
  トレーニングデータセットは、データ所有者の知的財産権を尊重することなく、しばしばインターネットから取り除かれる。 推論(DI)は、被疑者データセットがトレーニングに使用されたかどうかを特定することで潜在的な治療を提供する。 既存のDIメソッドでは、妥協したデータセットの分布と密接に一致するトレーニングを欠くために、プライベートな設定を必要とします。 本研究では,必要なホールドアウト集合を合成的に生成することで,この問題に対処する。
  論文  参考訳（メタデータ） (2025-06-18T08:46:59Z)
• Memorization or Interpolation ? Detecting LLM Memorization through Input Perturbation Analysis [8.725781605542675]
  大規模言語モデル(LLM)は,大規模なデータセットのトレーニングを通じて,優れたパフォーマンスを実現する。 LLMは、真の一般化ではなく、トレーニングデータの冗長な再現のような振る舞いを示すことができる。 本稿では, LLMにおける暗記検出のための新しい手法であるPEARLを紹介する。
  論文  参考訳（メタデータ） (2025-05-05T20:42:34Z)
• Self-Comparison for Dataset-Level Membership Inference in Large (Vision-)Language Models [73.94175015918059]
  本稿では,自己比較に基づくデータセットレベルのメンバシップ推定手法を提案する。 本手法では, 同一分布における地中構造データや非構造データへのアクセスは不要である。
  論文  参考訳（メタデータ） (2024-10-16T23:05:59Z)
• Data Taggants: Dataset Ownership Verification via Harmless Targeted Data Poisoning [12.80649024603656]
  本稿では,非バックドアデータセットのオーナシップ検証技術であるデータタグを新たに導入する。 我々は、VTモデルとResNetモデルと最先端のトレーニングレシピを用いて、ImageNet1kの包括的で現実的な実験を通してアプローチを検証する。
  論文  参考訳（メタデータ） (2024-10-09T12:49:23Z)
• Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge [55.65162959527848]
  大規模言語モデルは、多くの知識集約的なタスクにおいて優れたパフォーマンスを示している。 しかし、事前学習データには誤解を招く傾向があり、矛盾する情報も含まれている。 本研究では,LLMの学習嗜好を,矛盾する知識を持つデータに対して体系的に分析する。
  論文  参考訳（メタデータ） (2024-10-07T06:49:41Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,グレーボックス条件下で動作可能である。 4つのベンチマークデータセットから35個の主要なオープンソースLCMのデータ漏洩度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
  マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。 難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-09-12T16:39:41Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model Performance [3.7024660695776066]
  データセットがモデルの意味理解能力を評価するための良いテストベッドを構成するかどうかを評価することができる新しい診断テストスイートを提案します。 特に,広く使用されているベンチマーク(mnliおよびanli)に制御された腐敗変換を適用する。 モデル精度の大幅な低下は、元のデータセットがモデルの推論能力に適切な挑戦を提供することを示している。
  論文  参考訳（メタデータ） (2021-04-10T12:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。