論文の概要: When Does Backpropagating Through Policy Memory Matter? Physical Credit, Optimizer Updates, and Observability

• arxiv url: http://arxiv.org/abs/2609.33169v2
• Date: Sat, 03 Oct 2026 08:46:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 05:54:29.20945
• Title: When Does Backpropagating Through Policy Memory Matter? Physical Credit, Optimizer Updates, and Observability
• Title（参考訳）: 政策記憶のバックプロパゲーションはいつ重要か? : 身体的信用, 最適化, 可観測性
• Abstract要約: Transformer-XLとTruncatedのバックプロパゲーションは、その値を保持しながら保存された履歴の2番目のパスをカットした。 パラメータ勾配, 計算結果の更新, およびトランスフォーマー容器軌道モデルおよび四重項追跡ポリシーの継続訓練を計測する。
• 参考スコア（独自算出の注目度）: 1.7763177793955525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Policies with memory can learn along two backward paths: through the physical states their actions produce and through the representations they store. Transformer-XL and truncated backpropagation through time cut the second path at stored history while keeping its values. We ask when this cut matters. Holding the forward computation fixed and varying only derivative edges, we measure parameter gradients, the updates the optimizer applies, and continued training in a Transformer vessel-trajectory model and a quadrotor tracking policy. In the vessel model, detaching the key-value cache shrank the gradient to about a tenth of its norm, with little rotation, when gradients flowed through all earlier physical states, but barely changed it under one-step physical credit. In this strongly clipped regime the optimizer, not the gradient, set how far updates differed: global-norm clipping removed most of the gradient difference between memory-cut graphs, whereas AdamW turned a 2% gradient difference between two placements of the cut into update differences of up to 31% at the step where the placement was switched. In a quadrotor trained from initialization with 0.20 m/s velocity noise, removing memory raised tracking error by 43% and cutting memory gradients raised it by 32%; at low noise the cut's mean cost exceeded the value of memory. Two-step truncation segments gave no measurable gain, although with hidden velocity a two-step window captured most of the value of memory; eight-step segments removed half to three quarters of the cost. Switching the cut on only for the last fifth of training understated its cost about threefold at 0.20-0.30 m/s, but not at low noise or with hidden velocity. These results suggest measuring the cost of a memory cut by training with it from initialization, and comparing backward graphs by the updates the optimizer applies rather than by raw gradients.
• Abstract（参考訳）: メモリを持つポリシは、アクションが生成する物理的状態と、格納する表現の2つの後方パスに沿って学習することができる。 Transformer-XLとTruncatedのバックプロパゲーションは、その値を保持しながら保存された履歴の2番目のパスをカットした。 これがいつ重要なのか尋ねる。 フォワード計算を固定し,パラメータ勾配を測り,オプティマイザが適用した更新,トランスフォーマーの容器軌道モデルと四重項追跡ポリシーの継続訓練を行う。 船体モデルでは、鍵値キャッシュの取り外しは標準の約10分の1まで勾配を縮め、それまでの物理状態すべてに勾配が流れていたが、1ステップの物理クレジットではほとんど変化しなかった。 グローバルノームクリッピングはメモリカットグラフ間の勾配差の大部分を取り除き、AdamWはカットの2つの配置の間に2%の勾配差を最大31%の更新差に変えた。 0.20m/sの速度雑音で初期化から訓練されたクオーターでは、トラッキングエラーを43%、メモリ勾配を32%削減し、カットの平均コストはメモリの値を上回った。 2ステップのトラクションセグメントは測定可能なゲインを得られなかったが、隠れた速度では2ステップのウィンドウがメモリの価値のほとんどを捉え、8ステップのセグメントはコストの半分から3分の3を除去した。 最後の5分の1のカットだけを切り替えると、そのコストは0.20-0.30 m/sと3倍に抑えられたが、低騒音でも隠れた速度でもなかった。 これらの結果は、初期化からトレーニングによってカットしたメモリのコストを測定し、オプティマイザが生の勾配ではなく、更新による後方グラフと比較することを示唆している。

関連論文リスト

• Second-Moment Memory in Coordinatewise Adam [0.0]
  第二モーメントメモリ自体が最適勾配への進行を抑えることができることを示す。 勾配ノイズが有限分散であっても、長い第2モーメントメモリは最適化を遅くすることができる。
  論文  参考訳（メタデータ） (2026-08-16T15:56:36Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Dynamic Gradient Sparse Update for Edge Training [0.0502254944841629]
  トレーニングにおけるバックプロパゲーションの勾配計算は、中間機能と計算損失を格納するために、大きなメモリバッファを必要とする。 これはマイクロコントローラのようなメモリ制限されたエッジデバイスでは受け入れられない。 本稿では,メモリ使用量を削減するために動的勾配スパース更新を用いたトレーニングアクセラレーション手法を提案する。
  論文  参考訳（メタデータ） (2025-03-23T06:32:12Z)
• Adam Accumulation to Reduce Memory Footprints of both Activations and Gradients for Large-scale DNN Training [6.0904817096340125]
  本稿では,Adam Accumulation (AdamA) という,アクティベーションとグラデーションメモリの両方を削減可能な新しいAdamの蓄積手法を提案する。 具体的には、AdamAは状態への勾配を直接統合し、マイクロバッチ上で状態を蓄積することで、使用直後に勾配を解放することができる。 AdamAは、トレーニングスループットが2%未満のグラデーション累積に比べて最大23%のメモリ削減を実現している。
  論文  参考訳（メタデータ） (2023-05-31T16:06:50Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Memory Augmented Optimizers for Deep Learning [10.541705775336657]
  本稿では,メモリ内の勾配履歴を限定的に把握する,メモリ拡張勾配降下の枠組みを提案する。 固定サイズのメモリを持つ勾配勾配勾配のクラスは、強い凸性の仮定の下で収束することを示す。
  論文  参考訳（メタデータ） (2021-06-20T14:58:08Z)
• Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
  本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。 BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-06-17T10:14:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。