論文の概要: Don't Stop Long-Context Continual Pre-Training Too Early: An Empirical Scaling Law
- arxiv url: http://arxiv.org/abs/2610.29352v1
- Date: Wed, 21 Oct 2026 07:46:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.279572
- Title: Don't Stop Long-Context Continual Pre-Training Too Early: An Empirical Scaling Law
- Title（参考訳）: 長期の事前トレーニングを早めに止める - 実証的なスケーリング法則
- Abstract要約: LCCP(Long-context continual pre-training)は、長文の能力向上に広く用いられているが、LCCPに使用されるトークンの数によってその利点がどうスケールするかは定かではない。
LCCPのスケーリングの利点をモデル化し,モニタリングし,検証することで,この問題を考察する。
- 参考スコア（独自算出の注目度）: 11.474119722984184
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Long-context continual pre-training (LCCP) is widely used to improve long-context capability, but how its benefits scale with the number of tokens used for LCCP remains unclear. We investigate this question through modeling, monitoring, and validating the benefits of scaling LCCP. First, we establish an empirical additive power law relating long-context performance to model size and the respective token budgets of short-context pre-training and LCCP. Experiments across five model scales and more than one hundred short- and long-context budget configurations show that the fitted law reproduces the observed trends and extrapolates well to held-out model scales. Second, we introduce \textsc{Constant-Last4}, a training and observation protocol that averages the four most recent consecutive checkpoints from a constant-learning-rate run to enable stable monitoring along a single extensible training trajectory. Under this protocol, the same scaling-law form fits well and accurately predicts the LCCP performance trajectory of a 1.22B-parameter model trained on approximately 100B LCCP tokens. Finally, downstream evaluations along this trajectory show continued improvements in long-context performance, with no clear sign of saturation within the evaluated range. These gains persist after both 128K context extension and supervised fine-tuning, with benefits extending to long-context understanding and agentic tasks. Together, these results argue for continuing to scale LCCP rather than stopping early: its gains are stably observable along an extensible trajectory, quantitatively predictable, and transferable to downstream tasks.
- Abstract（参考訳）: LCCP(Long-context continual pre-training)は、長文の能力向上に広く用いられているが、LCCPに使用されるトークンの数によってその利点がどうスケールするかは定かではない。
LCCPのスケーリングの利点をモデル化し,モニタリングし,検証することで,この問題を考察する。
まず,長文性能をモデルサイズ,短文事前学習およびLCCPのトークン予算に関連づけた経験的付加力法を確立する。
5つのモデルスケールと100以上のショートコンテクストとロングコンテクストの予算構成による実験は、適合法則が観測された傾向を再現し、保持されたモデルスケールによく補間することを示している。
第2に、トレーニングおよび観察プロトコルである‘textsc{Constant-Last4} を導入し、最新の4つのチェックポイントを一定学習率から平均化し、単一の拡張可能なトレーニング軌道に沿って安定した監視を可能にする。
このプロトコルでは,約100BのLCCPトークンでトレーニングされた1.22BパラメータモデルのLCCP性能軌跡を,同一のスケーリング法式が適切かつ正確に予測する。
最後に、この軌道に沿った下流評価は、評価範囲内での飽和の明確な兆候を伴わず、長コンテキスト性能の継続的な改善を示す。
これらの利点は、128Kコンテキスト拡張と教師付き微調整の後に持続し、長文理解やエージェントタスクにまで拡張された。
これらの結果は、LCCPを早期に停止するのではなく、拡張可能な軌道に沿って安定に観測可能であり、定量的に予測可能であり、下流のタスクに転送可能であると主張している。
関連論文リスト
- FlowCTS: On-policy Continuous Trajectory Supervision of Flow Models [65.32587991232592]
フロー連続軌道スーパービジョン(FlowCTS)を提案する。
FlowCTSは、同じ学生訪問状態の学生と参照軌跡とを一致させる。
マルチ参照設定では、単一状態のFlowCTS-OPDはバニラKLベースのOPDよりも高速な収束で性能が向上する。
論文 参考訳（メタデータ） (2026-07-27T15:03:22Z) - RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。
最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。
我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
論文 参考訳（メタデータ） (2026-07-05T15:46:11Z) - Revealing the Learning Dynamics of Long-Context Continual Pre-training [5.904978452102138]
産学級Hunyuan-A13B(総パラメータ80B)を用いたLCCP学習力学の最初の系統的研究について述べる。
具体的には、LCCPの挙動(教師付き微調整探索)、確率的(複雑度)、機械的(注意パターン)レベルにわたってLCCPのダイナミクスを分析する階層的枠組みを提案する。
論文 参考訳（メタデータ） (2026-04-03T02:26:28Z) - Prescriptive Scaling Reveals the Evolution of Language Model Capabilities [22.14002750185524]
我々は、ログ事前学習FLOPの関数として、機能境界、ベンチマークスコアの高条件量子化を推定する。
我々は、初期のモデル世代に適合し、後のリリースを評価することで、時間的信頼性を検証する。
本稿では,評価予算の約20%を用いて,全データフロンティア付近を復元する効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-02-17T03:13:51Z) - Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。
より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。
近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
論文 参考訳（メタデータ） (2026-02-13T02:13:45Z) - Pretraining with Token-Level Adaptive Latent Chain-of-Thought [44.19871205975474]
パラメータの増加とトレーニングデータによる大規模言語モデルのスケーリングは、高品質コーパスの制限と通信コストの増大によって、ますます制限されている。
この研究は、潜在チェーン・オブ・ソート(CoT)を事前学習に内在させることにより、パラメータを拡張せずにトーケン毎の計算量を増やすという代替軸を探求する。
本稿では,各トークンを出力する前に可変長遅延CoT軌道を生成するToken-Level Adaptive Latent CoT(Adaptive Latent CoT)による事前学習を提案する。
Llamaアーキテクチャによる実験によると、適応潜在CoTは、訓練の少ないFLでも、言語モデリングの難易度と幅広い下流の精度を一貫して改善する。
論文 参考訳（メタデータ） (2026-02-09T02:49:15Z) - AnaCP: Toward Upper-Bound Continual Learning via Analytic Contrastive Projection [11.750791465488438]
本稿では,CIL(Class-Incremental Learning)の問題について考察する。
事前訓練モデル(PTM)を使わない従来のCIL法は、破滅的忘れ(CF)に苦しむ
本稿では,AnaCPを提案する。AnaCPは解析的分類器の効率を保ちつつ,段階的特徴適応を実現し,勾配に基づく学習を行なわない新しい手法である。
論文 参考訳（メタデータ） (2025-11-17T19:56:15Z) - Gaining Momentum: Uncovering Hidden Scoring Dynamics in Hockey through Deep Neural Sequencing and Causal Modeling [0.0]
本稿では,プロホッケーにおける攻撃モーメントの定量化と強化,および確率(予測目標,xG)を評価するための統一されたデータ駆動フレームワークを提案する。
我々のフレームワークは、コーチやアナリストにリアルタイムで行動可能な洞察を提供し、原則的かつ因果的な戦術最適化に向けてホッケー分析を進めます。
論文 参考訳（メタデータ） (2025-11-01T16:36:53Z) - Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。
フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文 参考訳（メタデータ） (2025-05-19T11:30:41Z) - The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。
特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。
コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
論文 参考訳（メタデータ） (2024-04-01T16:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。