論文の概要: How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text

• arxiv url: http://arxiv.org/abs/2609.40295v1
• Date: Wed, 30 Sep 2026 17:50:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.263764
• Title: How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text
• Title（参考訳）: 野生のAI生成Webテキストのスケーリング法則は、AIがどれほどの価値を負うか?
• Abstract要約: 800の言語モデルを事前トレーニングし、追加のAIトークンと人間のトークンの比率を調整し、スケーリング法則を人間のテキストとAI生成テキストの両方のホールドアウト損失に適合させます。 データスターベッドモデルでは、データの事前トレーニングにAIトークンを追加することで、最初は人間のテキストの損失が減少するが、より多くのものを追加するとメリットが飽和し、すぐに*逆の*が害を受ける。 我々は、AIテキストの欠如により、Chinchillaに還元しつつ、AIトークンの価値を変更できるように、異なる利益と害条件を持つ新しいスケーリング法を提案する。
• 参考スコア（独自算出の注目度）: 24.192660339693564
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Web text makes up the majority of pretraining data and is increasingly AI-generated. After applying FineWeb quality filtering, we find that 27.5% of tokens from June 2026 web data are labeled as AI-generated by Pangram, rising to 31.1% by August. Unlike synthetic data or model-collapse setups, this *wild* AI text comes from many models, is written for human readers, and arrives unlabeled in pretraining corpora. How does AI text in the wild affect language model pretraining? To answer this question, we pretrain 800 language models, varying the ratio of added AI tokens to human tokens, and fit scaling laws to held-out losses on both human and AI-generated text. For data-starved models, adding AI tokens to pretraining data initially lowers loss on human text, but the benefit saturates as more are added and quickly *reverses* into harm. For models trained on high budgets of human text, AI tokens raise loss almost immediately, while the same number of fresh human tokens keeps lowering it. Scaling laws such as Hoffman et al. (2022) fail to predict this behavior. We propose a new scaling law with separate benefit and harm terms that allows the value of an AI token to change sign while also reducing to Chinchilla in the absence of AI text. When fit on smaller models, our scaling law predicts the effect of AI text on held-out human-text loss for models up to 3.6x larger with 41% lower error than the best existing law over all AI ratios. We recommend filtering AI text when the target is human text, repeating human text before expanding the training dataset with AI-generated web text, and reporting validation loss on human and AI text separately AI text remains valuable when the target is AI text. We release WildAI, an 83B-token corpus with AI, topic, and format labels, all 800 models and code at https://github.com/pangramlabs/WildAI.
• Abstract（参考訳）: Webテキストは事前学習データの大部分を占め、AIの生成が増えている。 FineWeb品質フィルタリングを適用した結果、2026年6月のWebデータの27.5%が、PangramによってAI生成とラベル付けされ、8月までに31.1%まで上昇した。 合成データやモデル崩壊セットアップとは異なり、この*wild* AIテキストは多くのモデルから生まれ、人間の読者向けに書かれ、事前学習されたコーパスにラベルが付けられていない。 AIテキストは言語モデルの事前学習にどのように影響しますか? この質問に答えるために、800の言語モデルを事前訓練し、追加のAIトークンと人間のトークンの比率を変更し、スケーリングの法則を人間のテキストとAI生成テキストの両方のホールドアウト損失に適合させる。 データスターベッドモデルでは、データの事前トレーニングにAIトークンを追加することで、最初は人間のテキストの損失が減少するが、より多くのものを追加するとメリットが飽和し、すぐに*逆の*が害を受ける。 人間のテキストの高予算で訓練されたモデルでは、AIトークンはほぼ即座に損失を発生させ、同時に新しい人間のトークンの数が減少し続けている。 Hoffman et al (2022)のようなスケーリング法はこの振る舞いを予測できない。 我々は、AIテキストの欠如により、Chinchillaに還元しつつ、AIトークンの価値を変更できるように、異なる利益と害条件を持つ新しいスケーリング法を提案する。 より小さなモデルに適合すると、我々のスケーリング法則は、すべてのAI比率に対して最も優れた既存の法則よりも41%低いエラーで最大3.6倍の精度で、AIテキストがホールドアウトされた人間のテキスト損失に与える影響を予測する。 我々は、ターゲットが人間のテキストであるときにAIテキストをフィルタリングし、トレーニングデータセットをAI生成のWebテキストで拡張する前に人間のテキストを繰り返すことを推奨する。 WildAIは、AI、トピック、フォーマットラベルを備えた83Bのコーパスで、すべての800のモデルとコードをhttps://github.com/pangramlabs/WildAIでリリースしています。

関連論文リスト

• EditLens: Quantifying the Extent of AI Editing in Text [23.457378805409714]
  AIで編集されたテキストは、人間が書いたテキストやAIで生成したテキストと区別可能であることを示す。 テキスト内に存在するAI編集量を予測する回帰モデルをトレーニングする。 AIによって編集されたテキストが検出できるだけでなく、AIによる人間の文章への変化の度合いも検出できることを示す。
  論文  参考訳（メタデータ） (2025-10-03T16:27:48Z)
• Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing [55.2480439325792]
  本研究では、AI-Polished-Text Evaluationデータセットを用いて、12の最先端AIテキスト検出器を体系的に評価する。 我々の発見によると、検出器は、最小限に洗練されたテキストをAI生成としてフラグ付けし、AIの関与度を区別し、古いモデルや小さなモデルに対するバイアスを示す。
  論文  参考訳（メタデータ） (2025-02-21T18:45:37Z)
• Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [58.419940585826744]
  本稿では,確率的AIテキスト検出のためのグループ固有しきい値最適化アルゴリズムであるFairOPTを紹介する。 属性(例えば、テキストの長さと書き込みスタイル)に基づいてデータをサブグループに分割し、FairOPTを実装して、各グループに対する決定しきい値の学習を行い、不一致を低減しました。 我々のフレームワークは、後処理によるAI生成コンテンツ検出において、より堅牢な分類の道を開く。
  論文  参考訳（メタデータ） (2025-02-06T21:58:48Z)
• DAMAGE: Detecting Adversarially Modified AI Generated Text [0.13108652488669736]
  既存のAI検出器の多くが、人間化されたテキストを検出できないことを示す。 偽陽性率を低く保ちながら、人間化されたAIテキストを検出する頑健なモデルを実証する。
  論文  参考訳（メタデータ） (2025-01-06T23:43:49Z)
• Human Bias in the Face of AI: Examining Human Judgment Against Text Labeled as AI Generated [48.70176791365903]
  本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。 ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
  論文  参考訳（メタデータ） (2024-09-29T04:31:45Z)
• Can Machines Imitate Humans? Integrative Turing-like tests for Language and Vision Demonstrate a Narrowing Gap [56.611702960809644]
  3つの言語タスクと3つの視覚タスクで人間を模倣するAIの能力をベンチマークする。 次に,人間1,916名,AI10名を対象に,72,191名のチューリング様試験を行った。 模倣能力は従来のAIパフォーマンス指標と最小限の相関を示した。
  論文  参考訳（メタデータ） (2022-11-23T16:16:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。