論文の概要: Self-Play Pretraining with Zero Data

• arxiv url: http://arxiv.org/abs/2609.30063v1
• Date: Thu, 24 Sep 2026 16:23:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.099697
• Title: Self-Play Pretraining with Zero Data
• Title（参考訳）: ゼロデータによるセルフプレイ事前学習
• Abstract要約: Zero Dataによるセルフプレイ事前トレーニングは、このビジョンを実現するための最初の概念実証である。 普遍チューリングマシンは、計算可能なすべてのデータ生成プロセスに対する探索空間を提供する。 自然データにおけるゼロショット性能が自己再生計算で予測可能かどうかを検証する。
• 参考スコア（独自算出の注目度）: 31.08961688548511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advances in language modeling have been driven by scaling pretraining on ever more data. Yet, the training data is still largely curated on the model's behalf. A more general approach to pretraining would let the model learn to generate the data most useful for its own improvement. This would provide an effectively unbounded source of training data, limited by compute rather than human knowledge. We introduce Self-Play Pretraining with Zero Data, an initial proof-of-concept towards realizing this vision. Our procedure casts synthetic data generation as a search over the space of all computable structure, taking inspiration from Solomonoff induction. Starting from random initialization, two models learn in tandem: a generator proposes programs interpreted by a universal Turing machine, generating byte sequences, while a learner autoregressively predicts these byte sequences. The learner is trained with standard cross-entropy, while the generator is trained with reinforcement learning to produce sequences at the frontier of the learner's capabilities, yielding an adaptive curriculum. A universal Turing machine gives us a search space over all computable data-generating processes, imposing little domain-specific structure, and self-play searches over this space for useful training data. We test whether zero-shot performance on natural data improves predictably with self-play compute; this is a clean test of transfer since neither generator nor learner is trained on natural data. Across several natural datasets, zero-shot loss exhibits predictable scaling in compute. The models also exhibit in-context learning, and discover recognizable mathematical sequences during training.
• Abstract（参考訳）: 言語モデリングの進歩は、さらに多くのデータで事前トレーニングをスケールすることで促進されている。 しかし、トレーニングデータはモデルに代わって大半がキュレートされている。 事前トレーニングに対するより一般的なアプローチは、モデルが自身の改善に最も有用なデータを生成することを学ぶことを可能にする。 これは、人間の知識よりも計算によって制限される、効果的に無制限なトレーニングデータソースを提供する。 我々は、このビジョンを実現するための最初の概念実証であるゼロデータによるセルフプレイ事前学習を紹介する。 提案手法は,Solomonoffインジェクションからインスピレーションを得て,計算可能なすべての構造の空間を探索するために合成データを生成する。 ジェネレータは普遍的なチューリングマシンによって解釈されたプログラムを提案し、バイトシーケンスを生成し、学習者はこれらのバイトシーケンスを自動回帰的に予測する。 学習者は標準的なクロスエントロピーで訓練され、ジェネレータは強化学習で訓練され、学習者の能力の最前線でシーケンスを生成し、適応的なカリキュラムを得る。 汎用チューリングマシンは、計算可能なすべてのデータ生成プロセスに対する探索空間を提供し、ドメイン固有の構造をほとんど含まない。 自然データにおけるゼロショット性能が自己再生計算で予測可能かどうかを検証する。 いくつかの自然なデータセットの中で、ゼロショットロスは計算の予測可能なスケーリングを示す。 モデルはまた、文脈内学習を示し、訓練中に認識可能な数学的シーケンスを発見する。

関連論文リスト

• Reasoning to Learn from Latent Thoughts [61.2395150828168]
  本研究では,テキスト生成プロセスの根底にある表現的思考を明示的にモデル化し,推論することにより,事前学習データの効率を大幅に向上させることができることを示す。 1B LMは、少なくとも3回の反復でその性能をブートストラップし、生データに基づいてトレーニングされたベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-03-24T16:41:23Z)
• Data Augmentation for Sparse Multidimensional Learning Performance Data Using Generative AI [17.242331892899543]
  学習パフォーマンスデータは、適応学習における正しい解答や問題解決の試みを記述している。 学習性能データは、適応的なアイテム選択のため、ほとんどの実世界のアプリケーションでは、非常にスパースな(80%(sim)90%の欠落)傾向にある。 本稿では,学習者のデータの分散性に対処するために,学習者のデータを拡張するための体系的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T00:25:07Z)
• On Inductive Biases for Machine Learning in Data Constrained Settings [0.0]
  この論文は、データ制約された設定で表現力のあるモデルを学ぶという問題に対する異なる答えを探求する。 ニューラルネットワークを学ぶために、大きなデータセットに頼るのではなく、データ構造を反映した既知の関数によって、いくつかのモジュールを置き換えるつもりです。 我々のアプローチは「帰納的バイアス」のフードの下に置かれており、これは探索するモデルの空間を制限する手元にあるデータの仮説として定義することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:22:01Z)
• An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
  大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。 以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
  論文  参考訳（メタデータ） (2022-12-02T18:46:41Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。