論文の概要: ERASE: EaRly bAckpropagation SchEdule for Faster Training of Modern Recommendation Systems

• arxiv url: http://arxiv.org/abs/2608.18469v1
• Date: Wed, 19 Aug 2026 02:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.259921
• Title: ERASE: EaRly bAckpropagation SchEdule for Faster Training of Modern Recommendation Systems
• Title（参考訳）: ERASE:EaRly bAckpropagation SchEdule for Faster Training of Modern Recommendation Systems
• Abstract要約: ブロックの出力を除去すると、下流の勾配依存性が取り除かれ、前方通過が終了すると、後方通過の準備が整う。 大規模なクリックスルーモデルでは、6つの密集したサブアーキテクチャを分離することで、トレーニングのスループットを最大9.51%向上すると同時に、正規化されたエントロピーをベースラインに近づける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lightweight proxy models enable rapid experimentation without repeatedly training frontier-scale systems, but their small kernels often leave modern accelerators underutilized. Conventional training compounds this inefficiency by scheduling the forward and backward passes as disjoint phases, so spare capacity in one cannot be filled by work from the other. We reinterpret the detachment mechanism of Forward-Forward (FF) as a scheduling primitive: given a local objective, detaching a block's output removes downstream gradient dependencies, making its backward pass ready when its forward pass finishes. ERASE launches each detached subgraph's backward pass early on a separate CUDA stream, overlapping it with subsequent forward work. Execution trace on a lightweight transformer demonstrates this overlap and its limit: a kernel that saturates the device leaves no capacity for concurrency. On a large-scale click-through-rate model, detaching six dense subarchitectures improves training throughput by up to $9.51\%$ while keeping normalized entropy close to the baseline.
• Abstract（参考訳）: 軽量プロキシモデルは、フロンティアスケールのシステムを繰り返し訓練することなく、迅速な実験を可能にするが、その小さなカーネルはしばしば、現代の加速器を未利用のままにしておく。 従来の訓練では、前向きと後向きのパスを相反するフェーズとしてスケジューリングすることで、この非効率性を兼ね備えているため、一方の空き容量を他方の作業で満たすことはできない。 我々は、フォワードフォワード(FF)の分離機構をスケジューリングプリミティブとして再解釈する: ローカルな目的が与えられた場合、ブロックの出力をデタッチすることで下流の勾配依存性が取り除かれ、フォワードパスが終了すると、その後方通過の準備が整う。 ERASEは、分離された各サブグラフの後方パスを別のCUDAストリームで早期に起動し、後続の作業と重なり合う。 軽量トランスの実行トレースは、この重複と限界を実証する:デバイスを飽和させたカーネルは、並行処理の能力を残しない。 大規模なクリックスルーレートモデルでは、6つの密集したサブアーキテクチャを分離することで、トレーニングのスループットを最大9.51\%向上し、ベースラインに近い正規化エントロピーを維持する。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Identity-Paired Progressive Depth Training: When Trainability Persists Beyond Expressibility [11.5521820702581]
  Emphprogressive depth Training (PDT)について検討する。 PDTは階層的なカリキュラムで、新しいレイヤを追加する前に浅い回路をトレーニングする。 以上の結果から,IP-PDTはCNOTゲートの大部分を排除し,両ベースラインよりも低い総ゲートコストを実現することを示す。
  論文  参考訳（メタデータ） (2026-07-18T12:47:50Z)
• Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers [8.286183477962203]
  訓練の並列化は 規模を拡大するための重要な戦略です 一定のステップサイズでASGDの収束は、更新の遅延が大きいため、遅い作業者によって負の影響を受ける。 期待の収束を示し、非同期最適化において初めて、高い確率で収束を示す。
  論文  参考訳（メタデータ） (2026-06-11T12:43:53Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns [0.16921396880325779]
  アーキテクチャレベルでの継続的な学習に対処するデコーダのみのバックボーンであるTRC$2(Thalamically Routed Cortical Columns)を導入します。 結果として得られるブロックはスパースでチャンク並列であり、各サブシステムのクリーンなアブレーションを維持しながら、効率的なトレーニングと推論を可能にする。
  論文  参考訳（メタデータ） (2026-02-25T23:38:16Z)
• OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
  我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。 その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
  論文  参考訳（メタデータ） (2025-10-08T03:55:24Z)
• REPA Works Until It Doesn't: Early-Stopped, Holistic Alignment Supercharges Diffusion Training [58.33728862521732]
  Diffusion Transformer (DiTs)は最先端の画像品質を提供するが、訓練は依然として遅い。 最近の治療 -- DiT の隠された特徴と非生成的教師(例えば DINO)の特徴とを一致させる表現アライメント(REPA) -- は、初期のエポックを劇的に加速させるが、その後パフォーマンスを低下させる。 生成学習者が共同データ分布をモデル化し始めると、教師の低次元埋め込みと注意パターンがガイドではなくストラトジャケットになる。 HASTEを紹介する
  論文  参考訳（メタデータ） (2025-05-22T15:34:33Z)
• Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
  パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。 具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。 我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
  論文  参考訳（メタデータ） (2025-05-02T08:23:29Z)
• Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates [1.9241821314180372]
  非同期勾配降下法(ASGD)は訓練速度を改善することができるが、通信とスループットの差により遅延に敏感である。 PD-ASGDは、フォワードとバックのパスに別々のスレッドを使用し、更新を分離し、フォワードとバックのスレッドの比率を高くする。 提案手法では,遅延が存在する場合,同期データ並列処理よりも5.95タイム以上高速に動作しながら,最先端の処理結果に近い結果が得られる。
  論文  参考訳（メタデータ） (2024-10-08T12:32:36Z)
• Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals [14.741951369068877]
  ユビキタス時系列(TS)予測モデルでは,過度なオーバーフィッティングが生じる傾向にある。 本稿では,深層的なブースティング・アンサンブル学習手法である二重ストリーム・サブトラクション機構を提案する。 提案手法は既存の最先端手法よりも優れており,各データセットの平均性能は11.9%向上した。
  論文  参考訳（メタデータ） (2024-02-04T03:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。