論文の概要: Greedy Local Learning for Language Model Pretraining: Gaps and Objective Design

• arxiv url: http://arxiv.org/abs/2610.04867v1
• Date: Sun, 04 Oct 2026 02:10:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 08:21:03.381485
• Title: Greedy Local Learning for Language Model Pretraining: Gaps and Objective Design
• Title（参考訳）: 言語モデル事前学習のためのグレディローカルラーニング:ギャップとオブジェクト指向設計
• Abstract要約: ローカライズ学習はエンドツーエンドのバックプロパゲーション分類と競合するものであり、小さなトランスフォーマーでは、並列スピードアップにとって最悪の損失であることが知られている。 本研究は, ケチラ最適予算において, 125M と400M のパラメータを 1,2,4 ドルのブロックで表し, 補助設計をネットワークアーキテクチャと学習目標に分解した。
• 参考スコア（独自算出の注目度）: 36.09456937532108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Greedy block-wise local learning splits a network into gradient-isolated blocks trained by local auxiliary losses, deleting the backward pass between blocks: inter-stage communication becomes forward-only and every block can step its optimizer independently, properties directly relevant to decentralized model-parallel training. Local learning is competitive with end-to-end backpropagation on image classification, and on small Transformers it is known to trade a worse best loss for parallel speedup. How this loss gap behaves in autoregressive language model (LM) pretraining at larger scale, and which auxiliary designs reduce it, has not been measured. We present a token-budget-matched empirical study at 125M and 400M parameters with $K \in \{1,2,4\}$ blocks at Chinchilla-optimal budgets, factorizing the auxiliary design into network architecture and training objective. We observe: (i) the gap to end-to-end training more than doubles from $K=2$ to $K=4$, but at $K=4$ shrinks from 125M to 400M; (ii) replacing an MLP auxiliary with a Transformer-based one is a strong network-side intervention, recovering 22-41% of the gap; (iii) a multi-token-prediction (MTP) auxiliary objective helps at the first block boundary, whereas adding it at deeper boundaries hurts, and restricting it to the first block yields the best $K=4$ configuration ($+0.062$ vs. $+0.075$ nats at 400M); and (iv) deployment-style per-block execution reduces activation memory by up to $2.2\times$. We frame these results as an empirically grounded method direction rather than a finalized method: local objectives should apply future-predictive pressure selectively across boundaries while resisting shortcuts that bypass predictive content.
• Abstract（参考訳）: グレディブロックの局所学習は、ネットワークを局所的な補助的損失によって訓練された勾配に分離されたブロックに分割し、ブロック間の後方通過を削除する。 ローカル学習は、画像分類におけるエンドツーエンドのバックプロパゲーションと競合し、小さなトランスフォーマーでは、並列スピードアップに対して、より悪い最高の損失をトレードすることが知られている。 この損失ギャップが大規模な自己回帰言語モデル(LM)の事前学習においてどのように振る舞うかは測定されていない。 本研究は,Chinchilla-Optimal budgetsにおいて,125Mおよび400Mのパラメータと$K \in \{1,2,4\}$ブロックを用いたトークン予算マッチング実験を行い,補助設計をネットワークアーキテクチャとトレーニング目標に分解した。 観察する。 (i) エンドツーエンドトレーニングのギャップは、$K=2$から$K=4$に倍増するが、$K=4$は125Mから4Mに縮減する。 (ii)トランスフォーマーをベースとしたMLP補助装置を強力なネットワーク側介入に置き換え、22～41%のギャップを回復させる。 (iii)MTP補助目的は、第1ブロック境界において有効であるが、より深い境界で追加することは困難であり、第1ブロックに制限すると、最高の$K=4$設定(+0.062$ vs. $+0.075$ nats at 400M)が得られる。 (iv)デプロイメントスタイルのブロックごとの実行は、アクティベーションメモリを最大2.2\times$に削減する。 局所的な目的は、予測内容をバイパスするショートカットに抵抗しながら、境界を越えて未来予測圧力を選択的に適用すべきである。

関連論文リスト

• AESOP: Adversarial Execution-path Selection to Overload Deep Learning Pipelines [6.773252452930085]
  現代の機械学習のデプロイメントは、動的推論パイプラインに特別なモデルを組み込むようになってきている。 この構造は, 単一モデルを対象とした既存手法では利用できない, 効率攻撃面を生成する。 脆弱性誘導経路ランキングと適応的損失重み付けを組み合わせたフレームワークであるAESOPを提案する。
  論文  参考訳（メタデータ） (2026-05-09T09:16:49Z)
• Sparsity Forcing: Reinforcing Token Sparsity of MLLMs [40.93786579652003]
  マルチモーダル大規模言語モデル(MLLM)におけるトークンの分散性を,単純なRLベースのポストトレーニングフレームワークであるtextitSparsity Forcing を用いて明示的に強化する。 本手法では,複数ロールアウトを異なるトークン予算で実行し,効率(トーケン還元率)と性能(回答正当性)の両方を共同報酬として定式化することにより,効率・正確性トレードオフを探索する。
  論文  参考訳（メタデータ） (2025-04-23T01:45:55Z)
• The Sharpness Disparity Principle in Transformers for Accelerating Language Model Pre-Training [51.84624027213658]
  本稿では、各ブロックのシャープネスに合わせてLRを調整する戦略であるブロックワイズ学習率(LR)を提案する。 モデルサイズは0.12Bから2Bの範囲である。 最近提案されたメモリ効率のAdam-miniにBlockwise LRを組み込むことで、2倍のスピードアップと2倍のメモリ節約を実現しています。
  論文  参考訳（メタデータ） (2025-02-26T10:06:37Z)
• Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
  本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。 私たちのフレームワークは4つの重要なコンポーネントを強調しています。 逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて 特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-31T16:24:17Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。