論文の概要: Deeper Backpropagation or More Updates? Training Looped Language Models Across Budgets

• arxiv url: http://arxiv.org/abs/2610.38422v1
• Date: Wed, 28 Oct 2026 08:08:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 10:40:52.0005
• Title: Deeper Backpropagation or More Updates? Training Looped Language Models Across Budgets
• Title（参考訳）: バックプロパゲーションの深化か,それ以上のアップデートか? 予算全体にわたるループ型言語モデルのトレーニング
• Abstract要約: トレーニング言語モデルは、後方ウィンドウを選択する必要がある。 より長いウィンドウでは、学習効率は向上するが、更新コストは向上する。 より短い窓は、更新毎のコストを削減しますが、トーケン毎の効率を犠牲にします。
• 参考スコア（独自算出の注目度）: 3.8128080223178618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Repeating transformer layers can improve language model performance without adding parameters. However, the added computational depth increases both forward and backward computation costs during training. Training such models requires choosing a backward window that controls how many final layer repetitions retain gradients during backpropagation. Longer windows improve per-token learning efficiency but increase per-update cost, while shorter windows reduce per-update cost but sacrifice per-token efficiency. Understanding which window performs better requires examining different training budgets. Prior work compares backward windows across computational budgets. When training budgets increase, it remains unclear whether the same window continues to perform best. We measure how the relative performance of two windows shifts as training budgets grow. Our method isolates per-token efficiency by training both windows on identical data, and compares complete training recipes at approximately equal training time at each budget. Results show that shorter windows lose much of their advantage as budgets grow. Controlled experiments show that both benefits decrease at larger budgets, with a greater decline in the benefit of extended training. Backward window comparisons depend on the available budget, and the preferred window among the tested candidates can change as the budget grows.
• Abstract（参考訳）: トランスフォーマーレイヤの繰り返しは、パラメータを追加することなく、言語モデルのパフォーマンスを向上させることができる。 しかし、追加の計算深度は、トレーニング中の前方および後方の計算コストを増大させる。 このようなモデルのトレーニングには、バックプロパゲーション中に勾配を保持する最終レイヤの回数を制御する、後方ウィンドウを選択する必要がある。 より長いウィンドウでは学習効率は向上するが、更新コストは増加し、短いウィンドウでは更新コストは削減されるが、トーケンの効率は犠牲になる。 どのウィンドウがより良く機能するかを理解するには、異なるトレーニング予算を調べる必要がある。 以前の作業では、計算予算の後方ウィンドウを比較していました。 トレーニング予算が増加すると、同じウィンドウが最高のパフォーマンスを維持しているかどうかは不明だ。 トレーニング予算の増大に伴い、2つの窓の相対的な性能がどう変化するかを測定する。 提案手法は,同一データ上で両ウィンドウをトレーニングすることで,各予算でほぼ同じトレーニング時間でトレーニングのレシピを比較し,その効率を分離する。 結果として、予算が増加するにつれて、短いウィンドウが大きな利点を失うことが示される。 制御された実験は、両方の利益がより大きな予算で減少し、拡張トレーニングの利益がより減少することを示している。 バックウインドウの比較は利用可能な予算に依存しており、テスト対象の間で望ましいウインドウは、予算が増加するにつれて変更される可能性がある。

関連論文リスト

• RLPF: Reinforcement Learning from Performance Feedback for Code Generation [44.39557506834191]
  評価基準としてのみ効率性を扱うのではなく、より高速な実装を好むようにコードエージェントを訓練する方法を研究する。 本稿では,パフォーマンスフィードバックからの強化学習である textbfRLPF を提案する。 PerfCodeBench の RLPF による微調整 Qwen3-32B は,修正および実行可能なソリューションを 11.1% から 54.6% に引き上げる。
  論文  参考訳（メタデータ） (2026-07-29T11:39:55Z)
• Recycling Pretrained Checkpoints: Orthogonal Growth of Mixture-of-Experts for Efficient Large Language Model Pre-Training [70.60554423630803]
  パラメータ数を拡大し,継続訓練を行うことで,事前学習したチェックポイントを再利用することを提案する。 70Bパラメータと1T以上のトレーニングトークンを持つモデルにアプローチを拡大し、スクラッチからトレーニングよりも10.66%の精度向上を実現しています。
  論文  参考訳（メタデータ） (2025-10-09T09:45:45Z)
• Train Long, Think Short: Curriculum Learning for Efficient Reasoning [51.506559652495476]
  長さ制御推論のためのカリキュラム学習戦略を提案する。 当社の手法は寛大なトークン予算から始まり、トレーニングをしながら徐々に厳格化します。 GSM8K、MATH500、SVAMP、College Math、GSM+の実験は、カリキュラムベースのトレーニングが固定予算ベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-08-12T13:48:03Z)
• Adaptive Layer Selection for Efficient Vision Transformer Fine-Tuning [18.776903525210933]
  我々は、$textbfALaST$(textitAdaptive Layer Selection Fine-Tuning for Vision Transformers$)と呼ばれるViTの効率的な微調整方法を紹介した。 我々のアプローチは、すべての層が微調整中に等しく重要であるわけではなく、その重要性が現在のミニバッチによって異なるという観察に基づいている。 この適応型計算アロケーションは,計算資源の分散に最適に近いスケジュールを実現できることを示す。
  論文  参考訳（メタデータ） (2024-08-16T11:27:52Z)
• OmniBal: Towards Fast Instruction-Tuning for Vision-Language Models via Omniverse Computation Balance [67.37017498784748]
  視覚言語命令チューニングモデルにおける大規模3D並列トレーニングは、異なるデバイス間で不均衡な計算負荷をもたらす。 我々は、データ、モデル、メモリの観点から計算負荷を再均衡させ、デバイス間でよりバランスのとれた計算を実現する。 提案手法の有効性と一般化性は,様々なモデルやデータセットにまたがってさらに検証される。
  論文  参考訳（メタデータ） (2024-07-30T12:02:58Z)
• AI capabilities can be significantly improved without expensive retraining [1.7361161778148904]
  最新のAIシステムは、"ポストトレーニングの強化"を通じて、高価なリトレーニングなしで大幅に改善できる ツールユース、プロンプトメソッド、足場、ソリューションの選択、データ生成の5つのタイプに分類される。 ほとんどの調査では、ベンチマークのパフォーマンスがトレーニング計算の5倍以上向上し、そのうちのいくつかは20倍以上向上している。
  論文  参考訳（メタデータ） (2023-12-12T16:34:19Z)
• Multiplication-Free Transformer Training via Piecewise Affine Operations [44.99157696237478]
  本稿では,浮動小数点数のビット表現を整数として加えることで実現した,安価なアフィン近似に置き換える。 変換器は、視覚と言語の両方のタスクに対して、結果の修正された行列乗法で、ほとんど、あるいは全く性能に影響を与えずに訓練できることが示される。
  論文  参考訳（メタデータ） (2023-05-26T18:28:28Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• Optimizer Fusion: Efficient Training with Better Locality and Parallelism [11.656318345362804]
  実験の結果,様々な構成で最大20%のトレーニング時間を短縮できることがわかった。 提案手法はアルゴリズムを変更しないため,訓練プロセスの一般的な「プラグイン」技術として利用することができる。
  論文  参考訳（メタデータ） (2021-04-01T03:44:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。