論文の概要: Lasting Effects of Abstract Pretraining Beyond Perplexity

• arxiv url: http://arxiv.org/abs/2609.38764v1
• Date: Wed, 30 Sep 2026 01:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.979892
• Title: Lasting Effects of Abstract Pretraining Beyond Perplexity
• Title（参考訳）: 難易度を超えた抽象的事前学習の長期的効果
• Abstract要約: 抽象的, アルゴリズム的に生成されたデータに対するウォームアップが, 自然言語学習の出発点となることを示す。 私たちのウォームアップでは、コンポジションとステートトラッキング機能を必要とする抽象的なスタック操作タスクを使用します。 制御された実験により、ウォームアップはより深い推論鎖の獲得を著しく加速することが示された。
• 参考スコア（独自算出の注目度）: 39.914976890507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are typically pretrained from random initialization. Recent work challenges this convention, showing that a brief warm-up on abstract, algorithmically generated data can provide a better starting point for subsequent learning of natural language. In this paper, we show that in small language models, such a warm-up improves specific capabilities that are not reflected in language-modeling perplexity. Our warm-up uses an abstract stack-manipulation task that requires compositional and state-tracking capabilities. Allocating as little as 1% of pretraining tokens to this data improves multi-hop question answering by up to 3.9 F1 points on MUSIQUE, with additional gains on HOTPOTQA and 2WIKIMULTIHOPQA despite comparable language-modeling perplexity. Controlled experiments show that the warm-up substantially accelerates the acquisition of deeper reasoning chains. We also explore what drives this transfer. First, the structure of the data matters: replacing the stack task with a queue fails to produce the same gains. Second, the gains are specific: performance improves on sequential reasoning chains, with no consistent benefit on tasks that combine or compare independent facts. Third, timing matters: mixing abstract data with natural language is far less effective than an initial dedicated phase, and exposure after pretraining completely removes the benefits. The early advantage persists through billions of subsequent language tokens. These results show that early abstract training can reliably shape the capabilities language models later acquire.
• Abstract（参考訳）: 言語モデルは典型的にはランダム初期化から事前訓練される。 最近の研究は、抽象的、アルゴリズムによって生成されたデータに対する簡単なウォームアップが、その後の自然言語学習の出発点としてより良いものとなることを示して、この慣習に挑戦している。 本稿では,小言語モデルにおいて,そのようなウォームアップは言語モデリングの難易度に反映されない特定の機能を改善することを示す。 私たちのウォームアップでは、コンポジションとステートトラッキング機能を必要とする抽象的なスタック操作タスクを使用します。 プリトレーニングトークンの1%をこのデータに割り当てることで、MUSIQUE上の最大3.9F1ポイントまでのマルチホップ質問応答が改善され、言語モデリングの難易度に比較してHOTPOTQAと2WIKIMULTIHOPQAがさらに増加した。 制御された実験により、ウォームアップはより深い推論鎖の獲得を著しく加速することが示された。 この移行を駆動する要因についても検討する。 まず、データ構造が重要です。スタックタスクをキューに置き換えても、同じ利得が得られません。 第二に、パフォーマンスはシーケンシャルな推論チェーンで改善され、独立した事実を組み合わせたり比較したりするタスクに対して一貫した利益は得られない。 第3に、タイミングが重要である: 自然言語と抽象データを混ぜることは、初期専用フェーズよりもはるかに効果的であり、事前トレーニング後の露光は、その利点を完全に取り除く。 初期の利点は、その後の数十億の言語トークンを通して持続する。 これらの結果は、初期の抽象的な訓練が、後から取得した言語モデルの性能を確実に形作ることができることを示している。

関連論文リスト

• Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought [13.72996269125319]
  Abstract-CoTは、数学的推論、命令フォロー、マルチホップ推論に匹敵するパフォーマンスを示しながら、推論トークンを最大11.6タイムで削減する。 本研究は,学習した抽象的推論言語による効率的な推論を可能にする,学習後の潜在推論メカニズムの可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2026-04-24T16:45:51Z)
• Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models [82.79223371188756]
  CoT(Chain-of-Thought)は、大規模言語モデルを用いた自然言語処理において、高度なタスク解決機能を備えている。 CoTをタンパク質やRNA言語モデルのような非自然言語ドメインに適用することは、まだ不可能である。 生物シークエンスモデルではじめて事前学習を導入し、中間的推論を行えるようにした。
  論文  参考訳（メタデータ） (2025-12-24T05:25:17Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• MiLe Loss: a New Loss for Mitigating the Bias of Learning Difficulties in Generative Language Models [40.992566245706996]
  トークンによる学習難易度を緩和するMiLe Loss関数を提案する。 我々は468M,1.2B,6.7Bパラメータの異なるスケールで生成言語モデルを訓練する。 実験により、提案されたMiLe Lossを組み込んだモデルが下流ベンチマークで一貫したパフォーマンス向上を達成できることが明らかになった。
  論文  参考訳（メタデータ） (2023-10-30T13:33:21Z)
• Characterizing Learning Curves During Language Model Pre-Training: Learning, Forgetting, and Stability [25.52470575274251]
  より長く一貫性のあるテキストを生成するために学習する前に、言語モデルが短い反復句を生成するのを観察する。 個々のトークンは、トレーニング前のランニングで驚くほど一貫性のある、突然の増減または損失の減少を示すことが多い。 より頻繁なトークンは最終段階の低い値に到達し、事前トレーニング実行中の変動が少なく、早期に学習され、事前トレーニング中に「忘れられる」可能性が低い。
  論文  参考訳（メタデータ） (2023-08-29T16:24:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。