論文の概要: GradLev: Token-Parallel Test-Time Training Via Costate Prediction
- arxiv url: http://arxiv.org/abs/2609.34174v2
- Date: Tue, 29 Sep 2026 06:38:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.717276
- Title: GradLev: Token-Parallel Test-Time Training Via Costate Prediction
- Title（参考訳）: GradLev:Token-Parallelテストタイムトレーニングとコステート予測
- Abstract要約: テストタイムトレーニングにより、モデルは推論時に予測を改善することができる。
オンライン勾配降下は、前向き評価と逆向きのバックプロパゲーションの両方に正確な平行走査を認めている。
- 参考スコア（独自算出の注目度）: 8.788753986099902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time training (TTT) allows a model to improve its predictions at inference time by updating weights after every observed token. However, sequential gra- dient writes make parallel training difficult. We observe that, given layer inputs and activation gradients (costates), online gradient descent admits exact parallel scans for both forward evaluation and reverse backpropagation. GradLev lever- ages this duality: a causal auxiliary network predicts costates across all tokens in parallel; associative scans compute the adapted weights and forward activations and propagate gradients backward; and the resulting gradient targets supervise the predictor via a consistency loss. Exact consistency guarantees exact recovery of the sequential online learner. At deployment, the auxiliary predictor is discarded, and the model updates natively via token-by-token forward and backward passes.
- Abstract（参考訳）: テストタイムトレーニング(TTT)では、観測されたトークン毎に重みを更新することで、推論時に予測を改善することができる。
しかし、逐次グラディエント書き込みは並列トレーニングを困難にしている。
階層入力とアクティベーション勾配(コスト)が与えられた場合、オンライン勾配降下は、フォワード評価とリバースバックプロパゲーションの両方の正確な並列スキャンを許容する。
GradLev lever-は、この双対性を持つ:因果補助ネットワークは、すべてのトークンを並列に予測し、連想スキャンは、適応された重みと前方のアクティベーションを計算し、勾配を後方に伝播する。
厳密な一貫性は、シーケンシャルオンライン学習者の正確な回復を保証する。
デプロイ時に補助予測器は破棄され、モデルがトークン・バイ・トークン・バイ・トーケン・フォワード・アンド・バック・パスを通じてネイティブに更新される。
関連論文リスト
- Terminal Shrinkage Averaging Reveals a Schedule-Estimator Interaction in LLM Pretraining [33.69413571438309]
終末変動に対する最近の進展のバランスをとるために, 頭頂部収縮平均化(TSA)を提案する。
局所2次近似を用いて,TSAが望ましい終末学習率のスケジュールをどのように変更するかを解析する。
その結果,Depth-22 NanoChatへの転送が得られ,スケジュールと推定器の組み合わせで検証精度が向上することを示した。
論文 参考訳（メタデータ） (2026-09-21T23:19:17Z) - Layerwise Progressive Freezing: A Training Scaffold for Depth-Scalable Binary Networks [1.1516147824168732]
スクラッチからのバイナリニューラルネットワーク(BNN)のトレーニングは、ストレートスルー推定器(STE)が支配している
我々はStoMPPを導入し、クリップされた重みとアクティベーションを、入力から出力までの層ごとにハードバイナリの層に徐々に置き換える。
スタンドアロンのトレーニングルールとして、完全なSTEフリープロシージャを提供し、バニラSTEよりも深く成長するゲインを改善している。
論文 参考訳（メタデータ） (2026-06-26T06:37:57Z) - PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。
SFTはトークン単位で固定されたデモトークンに適合する。
凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
論文 参考訳（メタデータ） (2026-06-08T12:14:06Z) - Pretraining with Token-Level Adaptive Latent Chain-of-Thought [44.19871205975474]
パラメータの増加とトレーニングデータによる大規模言語モデルのスケーリングは、高品質コーパスの制限と通信コストの増大によって、ますます制限されている。
この研究は、潜在チェーン・オブ・ソート(CoT)を事前学習に内在させることにより、パラメータを拡張せずにトーケン毎の計算量を増やすという代替軸を探求する。
本稿では,各トークンを出力する前に可変長遅延CoT軌道を生成するToken-Level Adaptive Latent CoT(Adaptive Latent CoT)による事前学習を提案する。
Llamaアーキテクチャによる実験によると、適応潜在CoTは、訓練の少ないFLでも、言語モデリングの難易度と幅広い下流の精度を一貫して改善する。
論文 参考訳（メタデータ） (2026-02-09T02:49:15Z) - Quadratic Direct Forecast for Training Multi-Step Time-Series Forecast Models [88.18038107198218]
既存の訓練目的は主に、各将来のステップを独立して均等に重み付けされたタスクとして扱う。
本稿では,両課題を同時に解決する2次元重み付き学習目標を提案する。
実験の結果,QDFは様々な予測モデルの性能を効果的に向上することが示された。
論文 参考訳（メタデータ） (2025-10-28T14:48:25Z) - PonderLM-2: Pretraining LLM with Latent Thoughts in Continuous Space [44.24277388571869]
我々は、新しい事前学習手法を提案する:潜在思考を用いた言語モデル(PonderLM-2)
我々のアプローチでは、まず言語モデル(LM)を事前訓練して、現在位置の最後の隠れ状態である中間潜在思考を生成し、その後、実際のトークンを予測するために入力として使用される。
実験により、同一の推論コストでトークンごとに1つの追加の潜在的思考を生成するLMが、パラメータの2倍の標準モデルより優れていることが示された。
論文 参考訳（メタデータ） (2025-09-27T08:38:08Z) - A Unified Noise-Curvature View of Loss of Trainability [8.602734307457387]
継続的学習におけるトレーニング容易性(LoT)の喪失は、タスクが進化するにつれて、ステップが改善されなくなります。
バッチサイズ対応勾配雑音境界と曲率ボラティリティ制御境界の2つの相補的基準を導入する。
このしきい値を用いることで、各レイヤを安全な限界以下に維持する、単純なレイヤごとのスケジューラを構築します。
論文 参考訳（メタデータ） (2025-09-24T02:11:13Z) - Gradient Equilibrium in Online Learning: Theory and Applications [56.02856551198923]
勾配平衡は標準オンライン学習法によって達成される。
勾配平衡は、オンライン予測問題において解釈可能かつ有意義な性質に変換される。
勾配平衡フレームワークは,ブラックボックス予測の偏りを緩和する手法の開発に利用できることを示す。
論文 参考訳（メタデータ） (2025-01-14T18:59:09Z) - Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。
幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
論文 参考訳（メタデータ） (2022-08-19T19:42:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。