論文の概要: PRECOCIAL: Pretraining with Code Curriculums via Iterative Search for Accelerated Learning
- arxiv url: http://arxiv.org/abs/2610.24970v1
- Date: Sun, 18 Oct 2026 02:53:23 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:09:06.925406
- Title: PRECOCIAL: Pretraining with Code Curriculums via Iterative Search for Accelerated Learning
- Title（参考訳）: PreCOCIAL: 加速学習のための反復探索によるコードカリキュラムの事前学習
- Abstract要約: 合成事前学習データを生成するプログラムを自動的に最適化するPreCOCIALを導入する。
PreCOCIALは検索全体のために1つのネットワークを保持し、候補ごとに新しいネットワークをトレーニングする代わりに、受理プログラムごとに事前訓練を続ける。
4つの言語とコードデータセットでは、固定された微調整予算で、最適化されたプログラムは手書きのキュリキュラよりも難易度が低い。
- 参考スコア（独自算出の注目度）: 31.077447805313394
- License:
- Abstract: Fully synthetic pretraining data generated by symbolic programs can bootstrap downstream training on naturalistic tasks, such as language modeling, but the generating programs have so far been designed by hand. We introduce PRECOCIAL, a method for automatically optimizing programs that generate synthetic pretraining data. Starting from an initial generator program, an LLM iteratively rewrites the program, and each rewrite is scored by pretraining a randomly-initialized transformer on its data and fine-tuning it on the downstream task. Because every score requires training, PRECOCIAL keeps a single network for the entire search, continuing its pretraining for each accepted program instead of training a new network per candidate, making it significantly more efficient. On four language and code datasets, at a fixed fine-tuning budget, optimized programs reach lower perplexity than hand-designed curricula, published procedural generators, random program mutation and the program the LLM writes in the first iteration of the search, and reach the same perplexity as the hand-designed curricula with 9-33% fewer fine-tuning steps. PRECOCIAL also ends with lower perplexity than FunSearch and AlphaEvolve, which train a new network for every candidate, at the same number of evaluations and a lower cost. We also observe that an optimized program generator from one domain transfers to datasets in other domains. Additionally, optimized programs allow for better downstream performance on four different reasoning and problem-solving tasks.
- Abstract（参考訳）: シンボリックプログラムによって生成された完全な合成事前学習データは、言語モデリングのような自然主義的なタスクの下流でのトレーニングをブートストラップすることができるが、生成プログラムは今のところ手動で設計されている。
合成事前学習データを生成するプログラムを自動的に最適化するPreCOCIALを導入する。
初期生成プログラムから始めて、LCMはプログラムを反復的に書き直しし、各書き換えは、ランダムに初期化されたトランスフォーマーをデータ上に事前訓練し、下流タスクで微調整することで行われる。
すべてのスコアがトレーニングを必要とするため、PreCOCIALは検索全体のための1つのネットワークを保持し、候補ごとに新しいネットワークをトレーニングする代わりに、受理プログラムごとに事前トレーニングを継続する。
4つの言語とコードデータセットでは、固定された微調整予算で、最適化されたプログラムは手書きのキュリキュラよりも難易度が低く、プロシージャジェネレータ、ランダムなプログラム変異、LLMが検索の最初のイテレーションで書いたプログラムは、手書きのキュリキュラと同じ難易度に達し、微調整のステップは9～33%減った。
PreCOCIALはまた、FunSearchやAlphaEvolveよりも難易度が低く、すべての候補に対して新しいネットワークをトレーニングし、同じ数の評価と低コストで終了する。
また、あるドメインからの最適化されたプログラムジェネレータが、他のドメインのデータセットに転送されるのを観察する。
さらに、最適化されたプログラムは、4つの異なる推論と問題解決タスクにおいてより優れたダウンストリームパフォーマンスを実現する。
関連論文リスト
- Property-Guided LLM Program Synthesis for Planning [6.88204255655161]
評価後にプログラムを採点する代わりに、候補が正式に定義された性質を満たすかどうかを確認する。
このフィードバックは、プログラム生成数と評価コストの両方を大幅に削減します。
論文 参考訳（メタデータ） (2026-05-15T16:23:35Z) - Learning to Reason via Program Generation, Emulation, and Search [33.11955431589091]
言語モデル(LM)によるプログラム合成は、多くの推論能力を解放した。
すべての推論タスクは、コードとして容易に表現できるわけではない。例えば、常識的推論、道徳的意思決定、皮肉な理解を含むタスクである。
我々は,プログラム合成スキルをこのようなタスクに拡張するために,コード生成とエミュレートされた実行(CoGEX)を提案する。
論文 参考訳（メタデータ） (2024-05-25T19:40:50Z) - NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual
Question Answering [52.10214317661547]
現在の数値推論法はプログラムシーケンスを自己回帰的にデコードする。
プログラム生成の精度は、デコードステップがエラー伝搬によって展開されるにつれて急激に低下する。
本稿では,非自己回帰型プログラム生成フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-07T11:25:21Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳（メタデータ） (2022-07-05T02:42:15Z) - Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。
自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。
提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
論文 参考訳（メタデータ） (2022-05-28T03:31:07Z) - Searching for More Efficient Dynamic Programs [61.79535031840558]
本稿では,プログラム変換の集合,変換プログラムの効率を評価するための単純な指標,およびこの指標を改善するための探索手順について述べる。
実際に、自動検索は初期プログラムの大幅な改善を見出すことができることを示す。
論文 参考訳（メタデータ） (2021-09-14T20:52:55Z) - Training ELECTRA Augmented with Multi-word Selection [53.77046731238381]
本稿では,マルチタスク学習に基づくELECTRAの改良を目的としたテキストエンコーダ事前学習手法を提案する。
具体的には、識別器を訓練し、置換トークンを同時に検出し、候補集合から元のトークンを選択する。
論文 参考訳（メタデータ） (2021-05-31T23:19:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。