論文の概要: Backward-State Policy Is Part of the Learning Algorithm

• arxiv url: http://arxiv.org/abs/2609.39813v1
• Date: Wed, 30 Sep 2026 14:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.882442
• Title: Backward-State Policy Is Part of the Learning Algorithm
• Title（参考訳）: 逆状態政策は学習アルゴリズムの一部である
• Abstract要約: 低精度の訓練は、しばしばいくつかの勾配のために、後方通過が再び読み取るテンソルを弾く。 各用途は、フォワードの丸い値、元の値、または新しいランダムな丸い値を読むことができる。 学習アルゴリズムの一部であり、どちらのチェックも正しいかどうかを示さない、と我々は主張する。
• 参考スコア（独自算出の注目度）: 8.938741614534775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-precision training rounds tensors that the backward pass reads again, often for several gradients; each use can read the forward's rounded value, the original, or a new random rounding. This backward-state policy looks like a memory and precision detail, settled by copy accuracy and final loss. We argue that it is part of the learning algorithm, and that neither check shows whether it is right. Copy accuracy does not decide the outcome: in three pairs of 390M runs with an emulated FP8 backward, training fails when attention's backward reuses the forward's rounded output and succeeds with a new rounding from the same distribution. Even the most accurate copy, the original itself, can be wrong by our reference: the gradient of the forward pass as it actually ran, with gradients passed through rounding unchanged. For example, a normalization output stored in low precision feeds two gradients: the gain's gradient needs the original, but the next layer's weight gradient needs the rounded value that layer multiplied. Final loss, the other check, does not rule out the error of reading the original for both: it persists in models trained with such a store, while planned loss comparisons stay within a margin fixed in advance. We therefore derive from this reference which value each use must read, or which substitute gives the same gradient on average with the forward held fixed, and check these per-use requirements on single operators, without training. In three tests using PyTorch and Transformer Engine, the requirements predicted beforehand whether reuse changes what the backward computes on average relative to an independent copy, and every prediction held. Backward-state policy is thus part of the learning algorithm: it should be specified and checked use by use, not settled by copy accuracy and final loss.
• Abstract（参考訳）: 低精度のトレーニングラウンドは、しばしばいくつかの勾配に対して後方通過が再び読み取るテンソルであり、それぞれが前方の丸い値、元の値、または新しいランダムな丸めを読み取ることができる。 このバックステートポリシーは、コピー精度と最終的な損失によって解決された、メモリと精度の詳細のように見える。 学習アルゴリズムの一部であり、どちらのチェックも正しいかどうかを示さない、と我々は主張する。 390Mの3対の390MがエミュレートされたFP8を後方に走らせると、注意の後方が前方の丸みを帯びた出力を再利用し、同じ分布から新しいラウンドアウトで成功すると、トレーニングは失敗する。 最も正確なコピーであるオリジナルのコピーでさえ、私たちの参照で間違いを犯す可能性がある。 例えば、低精度で格納された正規化出力は2つの勾配を与える:利得勾配は元の値を必要とするが、次の層の重み勾配は、その層が乗算した丸い値を必要とする。 ストアでトレーニングされたモデルでは継続するが、計画された損失比較は事前に固定されたマージン内に留まる。 したがって、この参照は、各使用が読み取らなければならない値、またはどの代用が前方保持された固定値と平均的に同じ勾配を与えるかから導かれる。 PyTorch と Transformer Engine を使用した3つのテストでは、再使用が独立コピーに対する平均的な計算量を変えるかどうかを事前に予測し、すべての予測を行う。 したがって、バック状態ポリシーは学習アルゴリズムの一部であり、コピー精度と最終的な損失によって解決されるのではなく、使用によって指定され、チェックされるべきである。

関連論文リスト

• GradLev: Token-Parallel Test-Time Training Via Costate Prediction [8.788753986099902]
  テストタイムトレーニングにより、モデルは推論時に予測を改善することができる。 オンライン勾配降下は、前向き評価と逆向きのバックプロパゲーションの両方に正確な平行走査を認めている。
  論文  参考訳（メタデータ） (2026-09-28T02:47:33Z)
• Zero-Shot Test-Time Canonicalization using Out-of-Distribution Scoring [4.454031533784339]
  事前訓練された視覚モデルは、しばしば回転、スケール、またはせん断された入力を誤分類する。 テスト時の正準化は代わりに入力を無タッチで残す。 我々は,OODスコアが必要とされる場合にのみ入力を変換するゲート機構を開発する。
  論文  参考訳（メタデータ） (2026-06-23T06:00:33Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Random Feedback Alignment Algorithms to train Neural Networks: Why do they Align? [0.0]
  ランダムウォーカーの更新と真の勾配とのアライメントは、近似勾配降下を駆動する。 勾配アライメントはそれらの固定点に対する安定性の基準であることを示す。 高レベルの勾配アライメントがアルゴリズム性能の低下につながることを実証する。
  論文  参考訳（メタデータ） (2023-06-04T10:50:13Z)
• Convergence of the Stochastic Heavy Ball Method With Approximate Gradients and/or Block Updating [0.6445605125467572]
  我々は,より一般的な条件下でのヘビーボール (SHB) アルゴリズムの収束を確立する。 我々の解析は凸関数だけでなく、PL(Polyak-Lojasiewicz)およびKL(Kurdyka-Lojasiewicz)条件を満たすより一般的な関数も受け入れている。
  論文  参考訳（メタデータ） (2023-03-28T18:34:52Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。