論文の概要: A Statistical Hypothesis Testing Framework for Data Misappropriation Detection in Large Language Models

• arxiv url: http://arxiv.org/abs/2501.02441v1
• Date: Sun, 05 Jan 2025 04:47:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:10:15.806227
• Title: A Statistical Hypothesis Testing Framework for Data Misappropriation Detection in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるデータ不一致検出のための統計的仮説テストフレームワーク
• Authors: Yinpeng Cai, Lexin Li, Linjun Zhang,
• Abstract要約: 我々は,LLMが他のLLMが生成したデータを組み込んだかどうかを判断するために,データ誤り検出の問題に焦点をあてる。 この問題に対処するため,著作権付きトレーニングデータに透かしを埋め込む手法を提案し,仮説テスト問題としてデータ誤用の検出を定式化する。
• 参考スコア（独自算出の注目度）: 14.834820135578045
• License:
• Abstract: Large Language Models (LLMs) are rapidly gaining enormous popularity in recent years. However, the training of LLMs has raised significant privacy and legal concerns, particularly regarding the inclusion of copyrighted materials in their training data without proper attribution or licensing, which falls under the broader issue of data misappropriation. In this article, we focus on a specific problem of data misappropriation detection, namely, to determine whether a given LLM has incorporated data generated by another LLM. To address this issue, we propose embedding watermarks into the copyrighted training data and formulating the detection of data misappropriation as a hypothesis testing problem. We develop a general statistical testing framework, construct a pivotal statistic, determine the optimal rejection threshold, and explicitly control the type I and type II errors. Furthermore, we establish the asymptotic optimality properties of the proposed tests, and demonstrate its empirical effectiveness through intensive numerical experiments.
• Abstract（参考訳）: 大規模言語モデル(LLM)は近年急速に普及している。 しかし、LLMsのトレーニングは、特に適切な属性やライセンスを伴わずに、著作権のある資料をトレーニングデータに含めることに関して、プライバシーと法的に重要な懸念を提起している。 本稿では,あるLLMが他のLLMが生成したデータを組み込んだかどうかを判断するために,データ誤り検出の特定の問題に焦点を当てる。 この問題に対処するため、著作権のあるトレーニングデータに透かしを埋め込んで、仮説テスト問題としてデータ誤用の検出を定式化することを提案する。 我々は,一般的な統計的テストフレームワークを開発し,ピボット統計を構築し,最適な拒絶しきい値を決定し,I型とII型のエラーを明示的に制御する。 さらに,提案実験の漸近最適性特性を確立し,その経験的有効性を示す。

関連論文リスト

• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。 事前の推論も一貫して優れており、低コストでテキスト内学習よりも信頼性が高いことが証明されている。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• Does Data Contamination Detection Work (Well) for LLMs? A Survey and Evaluation on Detection Assumptions [20.51842378080194]
  大規模言語モデル(LLM)は、様々なベンチマークで優れた性能を示し、汎用的なタスクソルバとしての可能性を示している。 トレーニングデータと評価データセットの重複がパフォーマンス評価を膨らませる。 データ汚染検出に関する47の論文を体系的にレビューし、基礎となる仮定を分類し、厳格に検証されたかどうかを評価する。
  論文  参考訳（メタデータ） (2024-10-24T17:58:22Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Is Difficulty Calibration All We Need? Towards More Practical Membership Inference Attacks [16.064233621959538]
  我々は,textbfRe-levertextbfA を直接 textbfRe-levertextbfA を用いて mtextbfItigate the error in textbfDifficulty calibration を提案する。
  論文  参考訳（メタデータ） (2024-08-31T11:59:42Z)
• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
  我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。 本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T04:17:03Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• Probing Language Models for Pre-training Data Detection [11.37731401086372]
  本稿では,モデルの内部アクティベーションを調べることで,事前学習データ検出のための探索手法を提案する。 我々の手法はシンプルで効果的であり、より信頼性の高い事前学習データ検出につながる。
  論文  参考訳（メタデータ） (2024-06-03T13:58:04Z)
• Detecting Pretraining Data from Large Language Models [90.12037980837738]
  事前学習データ検出問題について検討する。 事前学習データを知ることなく、テキスト片とLCMへのブラックボックスアクセスを条件に、モデルが提供されたテキストでトレーニングされたかどうかを判断できますか? 簡単な仮説に基づく新しい検出手法Min-K% Probを提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:21:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。