論文の概要: Who Pays for the Knowledge Models Copy? Model Collapse as Rogers' Paradox
- arxiv url: http://arxiv.org/abs/2611.06022v1
- Date: Wed, 04 Nov 2026 06:19:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.99674
- Title: Who Pays for the Knowledge Models Copy? Model Collapse as Rogers' Paradox
- Title(参考訳): 誰が知識モデルのコピーに支払うのか? ロジャースのパラドックスとしてのモデル崩壊
- Abstract要約: 初期のモデルの出力に基づいて訓練された生成モデルは、何世代にもわたって知識を失う。
我々は供給が問題であり、文化進化はその理論を持っていると論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative models trained on the output of earlier models lose knowledge across generations, rare knowledge first. The remedies that work all bring in information from outside the loop, and the theory of model collapse treats that supply as given: a fixed archive, drawn from a fixed distribution. We argue that the supply is the problem, and that cultural evolution has the theory of it. We read model collapse as Rogers' paradox: a population that comes to rely on copying ends up no better off than one that never copied, because copies go stale unless someone keeps learning for themselves. We test the identification in three steps. First, Rogers' model, fitted only to fully synthetic training, predicts to within a few percentage points how much rare knowledge language models, from word trigrams to a pretrained transformer, retain under other mixtures of fresh data. Second, when the world itself changes, a lineage that copies its own past needs more fresh data to keep up the faster the world changes, as Rogers' model says it must and as analyses that assume a fixed target cannot; a lineage that restarts every generation from fixed pretrained weights is largely insulated, because those weights are knowledge that is never copied. Third, we close the loop: when the people who write a model's training data can ask the model instead of finding things out, the supply of fresh data becomes endogenous. At equilibrium, the model is exactly as reliable as it is costly for people to find out for themselves, the population is no better off than without the model, and every increase in the share of model-written text must be paid for by more people learning for themselves. Users who check what they are told and relearn when it is wrong break the paradox. Filters that select plausible text are conformist and accelerate collapse; only checks that carry new information act as critical learning.
- Abstract(参考訳): 初期のモデルの出力に基づいて訓練された生成モデルは、何世代にもわたって知識を失う。
そしてモデル崩壊の理論は、固定された分布から引き出された固定されたアーカイブである。
我々は供給が問題であり、文化進化はその理論を持っていると論じる。
ロジャーズのパラドックスとしてモデル崩壊が読めば、コピーを頼りにしようとする人口は、コピーをしない人ほど良くない。
私たちはその身元を3つのステップで検証する。
まず、ロジャースのモデルは完全な総合的な訓練にのみ適合し、単語トリグラムから事前訓練されたトランスフォーマーまで、いかにレアな知識言語モデルが、他の新鮮なデータの混合の下で保持されるかを数パーセント以内で予測する。
第二に、世界そのものが変化するとき、自分自身の過去をコピーする系譜は、世界がより速く変化し続けるために、より新しいデータを必要とする。Rogersのモデルが言うように、固定されたターゲットを仮定する解析は不可能である;固定された事前訓練された重みから全ての世代を再起動する系譜は、ほとんど絶縁されている。
第三に、モデルのトレーニングデータを書く人が、物事を見つける代わりにモデルに尋ねることができれば、新鮮なデータの供給は内在的になります。
均衡において、モデルは、人々が自分で知るのにコストがかかるのと同じくらい信頼性が高く、人口はモデルなしでは良くない。
言われたことをチェックして,間違っていた時に再学習するユーザは,パラドックスを破ります。
可塑性テキストを選択するフィルタは整合性があり、崩壊を加速する。
関連論文リスト
- Low-Cost Assays for Measuring Model Behavior Across Vendors and Releases [3.7734715043126488]
言語モデルは人々に助言し、一緒に保ち、寝ている間にソフトウェアを書きます。
モデルビヘイビアを研究するための,シンプルで安価で,スケーラブルで,レプリカ可能なモデルを提案する。
それぞれの研究は、クロスベンダーパネル上で、一モデルあたり数ドル以下で、凍結した公共の刺激が実行されます。
論文 参考訳(メタデータ) (2026-09-24T15:51:17Z) - The Files are in the Computer: On Copyright, Memorization, and Generative AI [7.418953974490701]
ニューヨーク・タイムズのOpenAIとマイクロソフトに対する著作権訴訟は、OpenAIのGPTモデルがNYTの記事を「記憶している」と主張している。
これらの議論は「記憶」の性質に関する曖昧さによって曇っている。
我々は、記憶の正確な定義を提供するために、技術的な文献を描きます。
論文 参考訳(メタデータ) (2024-04-19T02:37:09Z) - Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。
各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
論文 参考訳(メタデータ) (2024-04-02T21:51:39Z) - Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。
生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
論文 参考訳(メタデータ) (2024-04-01T18:31:24Z) - Clarify: Improving Model Robustness With Natural Language Corrections [59.041682704894555]
モデルを教える標準的な方法は、大量のデータを提供することです。
このアプローチは、データ内の誤解を招く信号を拾うため、モデルに誤ったアイデアを教えることが多い。
モデル誤解をインタラクティブに修正するためのインターフェースと手法であるClarifyを提案する。
論文 参考訳(メタデータ) (2024-02-06T05:11:38Z) - Reusing Pretrained Models by Multi-linear Operators for Efficient
Training [65.64075958382034]
大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。
bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。
本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
論文 参考訳(メタデータ) (2023-10-16T06:16:47Z) - Defending against Model Stealing via Verifying Embedded External
Features [90.29429679125508]
トレーニングサンプルがなく、モデルパラメータや構造にアクセスできない場合でも、敵はデプロイされたモデルを盗むことができる。
我々は、不審なモデルがディフェンダー特定遠近法の特徴の知識を含んでいるかどうかを検証することによって、他の角度からの防御を探索する。
本手法は, 複数段階の盗難処理によって盗難モデルが得られた場合でも, 同時に異なる種類の盗難モデルを検出するのに有効である。
論文 参考訳(メタデータ) (2021-12-07T03:51:54Z) - Dataset Inference: Ownership Resolution in Machine Learning [18.248121977353506]
盗難モデルの訓練セットに含まれる知識は 全ての盗難コピーに共通しています
疑わしいモデルコピーが元のモデルのデータセットからプライベートな知識を持っているかどうかを識別するプロセスである$dataset$ $inferenceを紹介します。
CIFAR10、SVHN、CIFAR100、ImageNetの実験では、モデル所有者はモデル(または実際にデータセット)が盗まれたと99%以上の自信を持って主張できる。
論文 参考訳(メタデータ) (2021-04-21T18:12:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。