論文の概要: Source Identification Is Not Fitness Testing: Measuring the Limits of Synthetic-Data Attribution
- arxiv url: http://arxiv.org/abs/2610.00417v1
- Date: Wed, 30 Sep 2026 14:34:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.650853
- Title: Source Identification Is Not Fitness Testing: Measuring the Limits of Synthetic-Data Attribution
- Title（参考訳）: 情報源の同定は適合性テストではない:合成データ属性の限界を測定する
- Abstract要約: モデル生成データに対する繰り返しトレーニングは、後のモデルを劣化させる可能性がある。
ひとつ考えられる応答は、どの生成されたサンプルを再利用するかを決めるときに、前例を使うことです。
私たちは、その成果がどれだけ確実に回収できるか、そして、それがより良いトレーニングデータを特定するのに役立つかどうかをテストします。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Repeated training on model-generated data can degrade later models. One possible response is to use provenance when deciding which generated examples to reuse. We test both how reliably that provenance can be recovered and whether it helps identify better training data. Using financial-risk text, we first identify the source of generated passages and then repeat the test after rewriting them. Generator attribution is 98.7% accurate on the original passages but falls to 53.1% after paraphrasing and 29.0% after style rewriting. Generated-versus-human detection remains close to perfect against the tested human comparison set. We then compare two ways of selecting generated examples over three rounds of generation and retraining. One uses source information. The other uses a score from a separate reference model. The two rules select different examples, but the planned comparison does not detect a stable difference in the degradation of the resulting models. The results show that identifying where data came from and identifying which data are useful for training are separate problems. The experiment therefore separates source identity, criterion-facing selection, and recursive training outcome: neither the provenance score nor the tested criterion-facing proxy is established as sufficient for future recursive behaviour.
- Abstract（参考訳）: モデル生成データに対する繰り返しトレーニングは、後のモデルを劣化させる可能性がある。
ひとつ考えられる応答は、どの生成されたサンプルを再利用するかを決めるときに、前例を使うことです。
私たちは、その成果がどれだけ確実に回収できるか、そして、それがより良いトレーニングデータを特定するのに役立つかどうかをテストします。
ファイナンシャルリスクテキストを使用して、まず生成されたパスのソースを特定し、それから書き直し後にテストを繰り返します。
ジェネレータの属性は元のパスで98.7%正確だが、パラフレージング後に53.1%、スタイル書き換え後に29.0%に低下する。
生成した対人検出は、テストされたヒトの比較セットに対して完璧に近いままである。
次に、生成と再学習の3ラウンドで生成された例を選択する2つの方法を比較する。
ソース情報を使用する。
もう1つは別の参照モデルからのスコアを使用する。
2つのルールは異なる例を選択するが、計画された比較は、得られたモデルの劣化の安定な差を検知しない。
結果は、データがどこから来たのかを特定し、トレーニングに有用なデータを特定することが、別の問題であることを示している。
この実験は、情報源の同一性、基準対応の選択、再帰的トレーニングの結果を分離し、将来の再帰的行動に十分なプロファイランススコアもテスト基準対応プロキシも確立されない。
関連論文リスト
- SynthSentry: Detecting Synthetic Data Contamination in Language Model Training Data [2.998247765202193]
コーパスレベルのモデルに依存しない汚染信号は生成モデルへのアクセスを必要とせず、生成履歴も合成ラベルも不要である。
我々は,小型オープンウェイト発生器が汚染したコーパスと,アウト・ワン・ジェネレータ・アウトプロトコルに基づく命令調整オープンウェイト・モデルについて検討した。
スコアは、ジェネレータファミリー全体が持ち出されるときにほとんど損失のない重大さでコーパスをランク付けする。
論文 参考訳（メタデータ） (2026-09-11T02:25:18Z) - Active Data Sampling and Generation for Bias Remediation [0.0]
トレーニング済みのクラスを微調整する際、不公平な分類を補うために、サンプリングとデータ生成の混合戦略が提案されている。
視覚的セマンティック・ロール・ラベリングのためのDeep Modelsのケーススタディとして、提案手法は90/10の不均衡から始まるシミュレートされたジェンダーバイアスを完全に解決することができる。
論文 参考訳（メタデータ） (2025-03-26T10:42:15Z) - How to Select Datapoints for Efficient Human Evaluation of NLG Models? [57.60407340254572]
我々は,人間の評価に最も有用なデータポイントを得るために,セレクタスイートを開発し,分析する。
本研究では,自動測定値の分散に基づくセレクタ,モデル出力の多様性,項目応答理論がランダム選択より優れていることを示す。
特に,情報源に基づく推定手法を導入し,情報源のテキストに基づいて人体評価に有用な項目を推定する。
論文 参考訳（メタデータ） (2025-01-30T10:33:26Z) - Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。
そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
論文 参考訳（メタデータ） (2023-04-04T03:48:56Z) - Data Feedback Loops: Model-driven Amplification of Dataset Biases [9.773315369593876]
我々は、あるモデルとのインタラクションを履歴として記録し、将来トレーニングデータとしてスクラップ化するシステムを定式化する。
テスト時間偏差統計に対する変化を追跡することによって、その安定性を経時的に分析する。
バイアス増幅の度合いは、モデルの出力がトレーニング分布のサンプルのように振る舞うかどうかと密接に関連していることがわかった。
論文 参考訳（メタデータ） (2022-09-08T17:35:51Z) - Uncertainty Estimation for Language Reward Models [5.33024001730262]
言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。
人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。
能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
論文 参考訳（メタデータ） (2022-03-14T20:13:21Z) - Conformal Prediction Under Feedback Covariate Shift for Biomolecular Design [56.86533144730384]
本稿では,トレーニングデータとテストデータが統計的に依存した環境での予測不確実性を定量化する手法を提案する。
モチベーション・ユースケースとして,本手法が設計したタンパク質の適合性予測の不確かさを定量化する方法を実データで示す。
論文 参考訳（メタデータ） (2022-02-08T02:59:12Z) - Continual Learning for Fake Audio Detection [62.54860236190694]
本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。
ASVspoof 2019データセットで実験が行われる。
論文 参考訳（メタデータ） (2021-04-15T07:57:05Z) - Double Perturbation: On the Robustness of Robustness and Counterfactual
Bias Evaluation [109.06060143938052]
テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。
この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
論文 参考訳（メタデータ） (2021-04-12T06:57:36Z) - Robustness to Spurious Correlations in Text Classification via
Automatically Generated Counterfactuals [8.827892752465958]
自動生成された反実データを用いてトレーニングデータを増強し、堅牢なテキスト分類器のトレーニングを提案する。
因果的特徴を強調し,非因果的特徴を強調することで,ロバスト分類器は有意義で信頼性の高い予測を行うことを示す。
論文 参考訳（メタデータ） (2020-12-18T03:57:32Z) - Intrinsic Certified Robustness of Bagging against Data Poisoning Attacks [75.46678178805382]
emphdata中毒攻撃では、攻撃者は学習した機械学習モデルを破損させるためにいくつかのトレーニング例を変更し、削除し、または挿入する。
データ中毒攻撃に対するバッグングの本質的確固たる堅牢性を証明する。
本手法は, 任意の修正, 削除, 挿入を行う場合, MNIST 上で 911.1% の精度を達成している。
論文 参考訳（メタデータ） (2020-08-11T03:12:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。