論文の概要: A Fragility Spectrum for Recursive Language-Model Training

• arxiv url: http://arxiv.org/abs/2609.11149v1
• Date: Thu, 10 Sep 2026 06:56:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.236297
• Title: A Fragility Spectrum for Recursive Language-Model Training
• Title（参考訳）: 再帰的言語モデル学習のための脆弱性スペクトル
• Abstract要約: 異なるモデルが同じプロセスで非常に異なる振る舞いをすることを示す。 5世代後のユニークな4グラムの結果は、チェックポイント毎に0.187から0.940まで様々である。 共有プールの構成を変更したり、人文で混合したりすることで、スピアマンの順序の相関は0.91--0.97に保たれる。
• 参考スコア（独自算出の注目度）: 9.563027159959587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-generated text is finding its way back into training corpora, and there is plenty of evidence that training on such data over and over collapses output diversity. Prior work has studied the phenomenon itself: which protocols and which data mixtures cause collapse. But different models behave very differently under the same process. We fix one recursive contamination protocol and let 13 publicly released checkpoints form an ecosystem that shares a common corpus for five generations. The unique 4-gram outcome after five generations ranges from 0.187 to 0.940 across checkpoints, a roughly five-fold spread: some models are barely touched, others degenerate into repetitive fragments. Changing the composition of the shared pool or mixing in human text keeps the Spearman correlation of the ordering at 0.91--0.97, and changing the random seed keeps it at 0.93--0.98. Whether a model collapses easily under recursive training is, then, a property of the checkpoint itself, and one that has gone largely unexamined. Parameter scale alone does not explain it, since a three-size ladder within one family is not monotonic in size, and none of the static indicators we tested predicts it either. What does work is cheap: let a model iterate on its own output for two or three generations, and its fragility in the larger ecosystem can be inferred from that alone. Collapse speed also responds to intervention. Tightening top-p, which cuts the low-probability tail at generation time, nearly stops collapse within three generations and stabilizes six checkpoints spanning the whole spectrum together, while data-side filtering slows collapse without stopping it.
• Abstract（参考訳）: モデル生成テキストは、トレーニングコーパスに戻る道を見つけており、そのようなデータのトレーニングがアウトプットの多様性を損なうという証拠はたくさんある。 これまでの研究は、どのプロトコルとどのデータ混合が崩壊を引き起こすかという現象自体を研究してきた。 しかし、異なるモデルは同じプロセスで非常に異なる振る舞いをする。 再帰的な汚染プロトコルを1つ修正し、13の公開チェックポイントを5世代にわたって共通のコーパスを共有するエコシステムに形成させます。 5世代後のユニークな4グラムの結果は、チェックポイント全体で0.187から0.940の範囲で、およそ5倍の広がりがあり、いくつかのモデルはほとんど触れられず、他のモデルは繰り返しフラグメントに縮退する。 共有プールの組成を変えたり、人文で混合させたりすることで、スピアマンの順序の相関は0.91-0.97に保たれ、ランダムシードは0.93--0.98に保たれる。 再帰的なトレーニングでモデルが容易に崩壊するかどうかは、チェックポイント自体の特性であり、ほとんど検討されていないものである。 パラメータスケールだけでは説明できません。1つのファミリー内の3サイズのはしごはモノトニックではなく、テストした静的な指標もそれを予測していません。 モデルが出力を2、3世代繰り返して、より大きなエコシステムにおけるその脆弱さを、それだけで推測できるのです。 崩壊速度も介入に反応する。 低確率のテールを世代毎に縮小するトッピングトップpは、3世代以内の崩壊をほぼ停止し、スペクトル全体にまたがる6つのチェックポイントを安定化する一方、データ側フィルタリングはそれを止めることなく崩壊を遅くする。

関連論文リスト

• SynthSentry: Detecting Synthetic Data Contamination in Language Model Training Data [2.998247765202193]
  コーパスレベルのモデルに依存しない汚染信号は生成モデルへのアクセスを必要とせず、生成履歴も合成ラベルも不要である。 我々は,小型オープンウェイト発生器が汚染したコーパスと,アウト・ワン・ジェネレータ・アウトプロトコルに基づく命令調整オープンウェイト・モデルについて検討した。 スコアは、ジェネレータファミリー全体が持ち出されるときにほとんど損失のない重大さでコーパスをランク付けする。
  論文  参考訳（メタデータ） (2026-09-11T02:25:18Z)
• The Oligarch Barely Steers Model Collapse in Multi-Model Ecosystems [9.563027159959587]
  より少ない、より均一なソースは崩壊を早くし、後のモデルはオリガルトの出力に向かって引きずられるかもしれない。 13のオープンな1--4Bモデルは、3から13人のプレーヤーの自然なエコシステムを形成します。 テスト範囲内では、濃度は目的地も崩壊のペースも設定しない。
  論文  参考訳（メタデータ） (2026-09-10T06:48:46Z)
• A Later Test Set Is Not a New Domain: Pretraining Familiarity Survives a Contamination-Free Hold-Out [0.0]
  時系列ファウンデーションモデルは、その前の公開アーカイブにのみ評価されるので、事前トレーニング中にテストセットを見たことから、強力なスコアを分離することはできない。 5つのドメインから引き出された7つのグループ上に、13の予測器(4つの古典的、3つの訓練されたデータセット、6つの事前訓練済み)を構築します。 このプロトコルの下で、事前訓練されたモデルは7つのグループのうち5つを獲得し、セタベースラインに1つを失う。
  論文  参考訳（メタデータ） (2026-09-09T15:52:55Z)
• A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
  3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。 4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。 信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
  論文  参考訳（メタデータ） (2026-08-30T10:21:34Z)
• Prompt-Model Interaction Reaches the Fixed Points: A deterministic, task-free structural readout -- and the factorizations of it that failed [0.0]
  ショートウィンドウ argmax map x_t+1 = argmax_x p(x | x_t-1, x_t) の固定点構造は96 から始まる。 6つのモデルのうち4つは、ウィンドウ16で完全に失われている。 第一に、相互作用は全等級でこの読み出しに達する:条件付けの9つのトークンは、そのほとんどにわたって固定点分数を動かす。
  論文  参考訳（メタデータ） (2026-08-21T17:25:18Z)
• Explanatory Engagement Under Rare Anomalous Failure: Asymptotic Rarity in Model Behavior (or: The Asymptotic AI) [0.0]
  我々は3つのオープンウェイトモデル(qwen3:8b, llama3.1:8b, mistral:7b)上で、繰り返しツールコールタスクを実行するローカルでゼロコストハーネスを構築する。 障害が希少化するにつれてエンゲージメントが上昇し,検出可能性しきい値付近で崩壊したと仮定した。 保証された障害実行は、モデルが異常を認識しているかどうかを示すが、一度認識されたエンゲージメントとは異なっている。
  論文  参考訳（メタデータ） (2026-08-13T10:25:40Z)
• Evaluating Generative Time-Series Models on Data with Point Masses [2.5536942228520814]
  このようなデータを慎重に評価するとどうなるか報告する。 標準的なローリングオリジンプロトコルは、データセットに似ていない原子構造を持つウィンドウ上でモデルをスコアすることができる。 自己回帰的ハードルは、6つのデータセットのうち5つの条件付きフローを最大133ドルまで上回る。
  論文  参考訳（メタデータ） (2026-08-10T14:57:36Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• SurvivalGAN: Generating Time-to-Event Data for Survival Analysis [121.84429525403694]
  検閲と時間的地平線の不均衡は、生成モデルに生存分析に特有の3つの新しい障害モードを経験させる。 本稿では,検閲やイベントの地平線における不均衡に対処し,生存データを扱う生成モデルであるSurvivalGANを提案する。 医療データセットに関する広範な実験により,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-02-24T17:03:51Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。