論文の概要: A Solvable Theory of Pre-training Data Poisoning: Regime-Dependent Scaling Exponents

• arxiv url: http://arxiv.org/abs/2609.32288v1
• Date: Sat, 26 Sep 2026 06:21:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:04:45.703611
• Title: A Solvable Theory of Pre-training Data Poisoning: Regime-Dependent Scaling Exponents
• Title（参考訳）: 事前学習データポジショニングの解決可能な理論:レジーム依存スケーリング指数
• Abstract要約: 毒性率$varepsilon$が成長するにつれて、モデルのクリーンなデータパフォーマンスはどのように低下するかを調査する。 比較的クリーンなデータ検証の難易度が、アーキテクチャ、トークン予算、最適化スケジュールで一致した有毒なモデルとクリーンなモデルの間で$$$$を上昇させるOLMoスタイルモデルの事前学習によって動機づけられたこのモデルは、$approx Cvarepsilona$と非整数指数で$$approx Cvarepsilona$に適合するので、理論的に何が必要なのかを問う。
• 参考スコア（独自算出の注目度）: 30.86966284669791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training data poisoning of large language models is usually studied using targeted backdoors and their survival through safety post-training, which leaves open a more basic question: how does a model's clean data performance degrade as the poison rate $\varepsilon$ grows? Motivated by our controlled pre-training runs of OLMo-style models, in which the relative clean data validation perplexity increase $Δ$ between poisoned and clean models matched in architecture, token budget, and optimization schedule is well fit by a power law $Δ\approx C\varepsilon^{a}$ with a non-integer exponent, we ask what such a law requires theoretically. We first prove an analyticity barrier: whenever the contaminated objective depends analytically on $\varepsilon$ around a nondegenerate clean data optimum, $Δ$ is generically quadratic in $\varepsilon$, so a generic non-integer exponent is a signature of genuinely singular structure. We then supply that structure in solvable truncated ridge regression with heavy-tailed covariates, controlled by $q_\star$, and a label-shift poisoning. Our central result is that the excess risk scaling exponent depending on the order of limits: in the higher dimensional proportional regime it is $ε^{q_\star/(q_\star+2)}$, whereas taking the ample-data limit first gives $ε^{2-2/q_\star}$, and the limits do not commute. We confirm this prediction through several numerical simulations. Finally, we argue that finite training time plays the role of truncation on the curvature spectrum in local LLM pre-training, deriving the observed scaling law under heavy tailed inverse curvature spectrum as a modeling hypothesis.
• Abstract（参考訳）: 大規模な言語モデルの事前トレーニングデータ中毒は、ターゲットのバックドアと、トレーニング後の安全性を通じて、通常研究される。 比較的クリーンなデータ検証の難易度が、アーキテクチャ、トークン予算、最適化スケジュールで一致した有毒モデルとクリーンモデルの間の$Δ$の増加を、非整数指数の$Δ\approx C\varepsilon^{a}$で制御したOLMo型モデルの事前学習によって動機付けられ、そのような法則が理論的に何を必要とするのかを問う。 汚染対象が解析的に$\varepsilon$を非退化クリーンデータ最適化に依存する場合、$Δ$ は $\varepsilon$ の一般二次であるので、一般的な非整数指数は真に特異な構造の符号である。 次に, 重鎖共変量体を用いて, 固溶性トランキャットリッジ回帰におけるその構造を$q_\star$で制御し, ラベルシフト中毒を発生させる。 我々の中心的な結果は、制限の順序によって過大なリスクスケーリング指数が与えられることである: より高次元の比例的な状態において、それは$ε^{q_\star/(q_\star+2)}$であり、一方、アンプルデータ極限を最初に取ると$ε^{2-2/q_\star}$となり、その極限は可換ではない。 いくつかの数値シミュレーションでこの予測を確認した。 最後に、局所LLM事前学習において、有限トレーニング時間が曲率スペクトルのトランケーションの役割を担い、重み付き逆曲率スペクトルの下で観測されたスケーリング則をモデリング仮説として導出した。

関連論文リスト

• Linear RNN Scaling Laws: When Longer Sequences Beat More Sequences [17.927451930317197]
  自己回帰言語モデルの実証的なスケーリング法則は、予測損失をモデルサイズ、データサイズ、最適化計算に関連付ける。 本研究では,安定な潜在線形RNNが軌道を発生し,スケッチされた線形リカレント学習者は,次の予測に基づいて,安全でフルバッチなWSD勾配勾配で学習する,学習可能な教師-学生モデルを用いて検討する。
  論文  参考訳（メタデータ） (2026-08-23T13:37:15Z)
• Data Predictability Shapes Weibull Weight-Scale Growth in Transformer Training [0.0]
  学習条件付き法則を定める前に計算した学習自由統計法則が得られた。 トレーニングの前に$D$が計算されるので、この法則はフォワード予測器である。 クロスコーパス予測 オーバー予測コード、冗長性はより広い$(D,R,A,H)$データ・ツー・ウェイト・フレームワークの第2軸を意味する。
  論文  参考訳（メタデータ） (2026-06-27T12:26:39Z)
• Near-Optimal Pure Machine Unlearning for Smooth Strongly Convex Losses [12.206530775105962]
  マシンアンラーニングは、訓練されたモデルから個人データの影響を取り除くための法的およびユーザ対応の要件によって動機付けられている。 我々は,約$varepsilon$-unlearningの過剰集団リスクについて,上層と下層の境界を証明した。 我々のアルゴリズムは、スクラッチからモデルを再訓練するよりも指数関数的に精度が向上する。
  論文  参考訳（メタデータ） (2026-06-01T01:19:04Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model [2.7074235008521246]
  ニューラルネットワークのスケーリング法則を最終層微細チューニングの解法モデルで解析する。 学習がエラー分布の「ハードテール」を小さくすることを示す。
  論文  参考訳（メタデータ） (2026-01-07T10:00:17Z)
• Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
  対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。 次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。 C=e(log H)1-Omega(1)$。
  論文  参考訳（メタデータ） (2025-02-18T02:52:00Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。