論文の概要: SynthSentry: Detecting Synthetic Data Contamination in Language Model Training Data
- arxiv url: http://arxiv.org/abs/2609.12353v1
- Date: Fri, 11 Sep 2026 02:25:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.586538
- Title: SynthSentry: Detecting Synthetic Data Contamination in Language Model Training Data
- Title（参考訳）: SynthSentry: 言語モデルトレーニングデータにおける合成データ汚染の検出
- Abstract要約: コーパスレベルのモデルに依存しない汚染信号は生成モデルへのアクセスを必要とせず、生成履歴も合成ラベルも不要である。
我々は,小型オープンウェイト発生器が汚染したコーパスと,アウト・ワン・ジェネレータ・アウトプロトコルに基づく命令調整オープンウェイト・モデルについて検討した。
スコアは、ジェネレータファミリー全体が持ち出されるときにほとんど損失のない重大さでコーパスをランク付けする。
- 参考スコア（独自算出の注目度）: 2.998247765202193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models trained recursively on their own or other models' outputs undergo model collapse, in which distributional tails and factual accuracy deteriorate while fluency survives. Prior work diagnoses collapse after training; the actionable problem is screening a corpus of unknown provenance before training. We introduce SynthSentry, a corpus-level, model-agnostic contamination signal requiring no access to the generating model, no generation history, and no synthetic labels. The score is a distributional divergence over three statistics: lexical diversity collapse, n-gram tail truncation, and perplexity variance across reference models. We evaluate on corpora contaminated by small open-weight generators and an instruction-tuned open-weight model under a leave-one-generator-out protocol. A domain-stratified study measures false positives on naturally repetitive human text (legal, clinical, source code). The score ranks corpora by severity with little loss when whole generator families are held out. Per-domain calibration holds near its nominal false-positive budget once covariance shrinkage and a bootstrap threshold replace a naive quantile, which runs four times over budget. A downstream fine-tuning check showed no contamination-driven accuracy deficit at our scale, so whether pruning recovers one remains open; the same run shows over-pruning risk once pruning exceeds the true contamination fraction. We frame screening as a data-curation defense rather than a post-hoc diagnosis and release the scoring toolkit. All results are small-scale; scope is English-language, batch-mode corpus screening. Contamination sources are single-generation or hand-authored rather than recursively generated, so results speak to synthetic contamination generally and not to recursion depth.
- Abstract（参考訳）: 大規模な言語モデルは、独自のモデルや他のモデルの出力で再帰的に訓練され、モデルの崩壊によって分布の尾と事実の精度が低下する。
行動可能な問題は、トレーニング前に未知の成果のコーパスをスクリーニングすることである。
コーパスレベルのモデルに依存しない汚染信号であるSynthSentryを導入する。
このスコアは、レキシカル多様性の崩壊、n-gramテールトランケーション、参照モデル間のパープレキシティのばらつきという3つの統計よりも分布的なばらつきである。
そこで我々は,小型オープンウェイト発電機が汚染したコーパスと,アウト・ワン・ジェネレータ・アウトプロトコルに基づく命令調整オープンウェイト・モデルについて検討した。
ドメイン階層化研究は、自然に反復する人間のテキスト(法、臨床、ソースコード)に偽陽性を測定する。
スコアは、ジェネレータファミリー全体が持ち出されるときにほとんど損失のない重大さでコーパスをランク付けする。
ドメイン単位のキャリブレーションは、共分散の縮小とブートストラップしきい値が、予算の4倍の単純な量子化に取って代わると、名目上は偽陽性の予算に近くなる。
下流の微調整チェックでは, 汚染による精度の低下は見られず, 刈り取り回収の有無は未確認であり, 刈り込みが真の汚染率を超えると過剰刈り込みのリスクが生じる。
スクリーニングをポストホック診断ではなくデータカレーションの防御として捉え、スコアリングツールキットをリリースする。
スコープは英語で、バッチモードのコーパススクリーニングである。
汚染源は再帰的に生成されるのではなく単世代または手書きであり、その結果は一般的に合成汚染であり、再帰深さではない。
関連論文リスト
- DiagLoop: A Counterfactual Data Flywheel with Stage-Localized Reinforcement for Diagnostic LLMs [5.241146164724621]
DiagLoopは、認知された物理的関係や臨床ガイドラインをトレーニングの監督に変換する、反ファクト的なデータフライホイールである。
訓練のみの教師は様々な原因、文脈、観察によって反現実の世界を提案し、一方独立したハイブリッドチェッカーは有効な世界しか認めない。
非終端障害に対しては、境界付き修復プローブが下流のコンピテンスを探索し、その結果の弱点プロファイルがその後のデータ生成を導く。
論文 参考訳（メタデータ） (2026-08-04T13:49:41Z) - Uncertainty-based Debiasing and Unlearning for Decontamination [12.593872705071114]
不確実性に基づく除染(UBD)は、汚染されたモデルやサンプルが汚染された知識を必要とせず、サンプルごとの記憶を推定する。
UBDは、パラフレーズや選択置換ベースラインよりも、汚染されていないモデルの出力分布にかなり近いサンプル単位の出力分布を生成する。
論文 参考訳（メタデータ） (2026-06-22T13:26:29Z) - When Sample Selection Bias Precipitates Model Collapse [18.23682629353108]
各検証器が対象多様体の小さな、断片化され、偏りのあるスライスのみを観測する低リソース検証方式において、選択自体がバイアスとなることを示す。
このようなサイロ選択が崩壊を加速し、パワー・ローの多様性の崩壊を引き起こすことを理論的に証明する。
論文 参考訳（メタデータ） (2026-06-11T11:49:39Z) - Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。
両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。
我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
論文 参考訳（メタデータ） (2026-06-07T02:35:56Z) - BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。
本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
論文 参考訳（メタデータ） (2025-07-14T17:13:06Z) - Machine-generated text detection prevents language model collapse [16.73923337828054]
我々は,機械生成テキスト検出器を訓練し,モデル崩壊を防止するために重要な再サンプリング手法を提案する。
モデル崩壊を防ぐだけでなく、純粋に人間のデータに対するトレーニングに比べて性能も向上することを示した。
論文 参考訳（メタデータ） (2025-02-21T18:22:36Z) - Rate of Model Collapse in Recursive Training [13.722324504719282]
最適確率(MLか近距離ML)推定の下で、よく研究された分布族に対して、モデル崩壊がどれだけ早く起こるかを問う。
驚くべきことに、離散分布やガウス分布のような基本的な分布であっても、モデル崩壊の正確な速度は不明である。
その結果,単語を忘れる時間は,元のコーパスで発生した回数にほぼ線形に依存していることがわかった。
論文 参考訳（メタデータ） (2024-12-23T15:21:50Z) - Gene Regulatory Network Inference in the Presence of Dropouts: a Causal View [15.628930397391137]
遺伝子制御ネットワーク推論(GRNI)は、単一細胞RNAシークエンシングデータにゼロが存在するため、難しい問題である。
本稿では,ドロップアウト機構,すなわちカスルドロップアウトモデルを特徴付ける因果図形モデルを提案する。
データから因果的なドロップアウトモデルを検証することができ、また、ドロップアウトを扱う既存の統計モデルの多くは、特定のパラメトリック・インスタンスとして我々のモデルに適合することを示す。
論文 参考訳（メタデータ） (2024-03-21T21:27:43Z) - A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳（メタデータ） (2023-12-06T20:58:07Z) - Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。
言語生成に適用するための実践的境界を開発する。
本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
論文 参考訳（メタデータ） (2023-02-26T16:32:52Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳（メタデータ） (2022-01-25T06:23:10Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳（メタデータ） (2021-10-12T17:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。