論文の概要: Regularized Emphatic Temporal-Difference Learning: Stability under Constant Stepsizes
- arxiv url: http://arxiv.org/abs/2609.19170v1
- Date: Mon, 14 Sep 2026 01:42:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.932507
- Title: Regularized Emphatic Temporal-Difference Learning: Stability under Constant Stepsizes
- Title（参考訳）: 正規化強調時間差学習:一定段階の安定性
- Abstract要約: 正規化強調TD (reularized emphatic TD, RETD) は、トレースと重要度を一定に保持する正規化1次ポストショック修復である。
マルコフ的ランダム積境界による高調波減少段数と条件付き定数段数モーメント抽出結果に対するほぼ完全収束性を証明する。
- 参考スコア（独自算出の注目度）: 14.435382741550455
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Emphatic temporal-difference learning (ETD) stabilizes the expected off-policy TD update and changes its projection geometry, but neither property determines constant-stepsize sampled dynamics. We construct an ergodic two-state counterexample in which the ETD mean map contracts while the sampled product has a positive top Lyapunov exponent. Regenerative-cycle analysis separates this sign from the infinite variance of the follow-on trace. We introduce regularized emphatic TD (RETD), a normalized first-order post-shock repair that leaves the trace and importance ratios unchanged, stores the emphatic TD signal in a leaky scalar state, and releases a delayed correction. RETD's raw equilibrium is an affine shift of the ETD equilibrium; single- and two-regularization readouts recover the ETD fixed point exactly. We prove almost-sure convergence for harmonic diminishing stepsizes and a conditional constant-stepsize moment-contraction result from a Markovian random-product bound. RETD has certified negative exponents on the two-state construction and one Baird point, whereas the positive Baird ETD sign remains numerical. Paired 10,000-run experiments validate both separations, fixed-point recovery, a nonmonotone stability region, and task dependence. RETD changes post-shock dynamics; it does not reduce the shared follow-on-trace variance.
- Abstract（参考訳）: 強調時間差学習(ETD)は、期待外のTD更新を安定化し、投影幾何学を変更するが、どちらの特性も一定のステップサイズのサンプリングされたダイナミクスを決定する。
サンプル積が正のトップのリャプノフ指数を持つ間、ETDの平均写像が収縮するエルゴード二状態反例を構築する。
再生サイクル解析は、このサインをフォローオントレースの無限分散から分離する。
本稿では,レギュラー化した強調TD (RETD) を導入し,トレースと重要度を一定に保ち,強調TD信号を漏洩スカラー状態に保存し,遅延補正を行う。
RETDの生平衡はETD平衡のアフィンシフトである。
マルコフ的ランダム積境界による高調波減少段数と条件付き定数段数モーメント抽出結果に対するほぼ完全収束性を証明する。
RETDは2状態構成と1つのBaird点に対して負の指数を証明しているが、正のBaird ETD符号は数値のままである。
ペア1万回の実験では、分離、固定点回復、非単調安定性領域、タスク依存の両方が検証されている。
RETDは、ショック後のダイナミクスを変える。
関連論文リスト
- TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。
しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。
凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。
MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
論文 参考訳（メタデータ） (2026-08-18T23:40:28Z) - Adaptive MPPI with Online Disturbance Covariance Estimation: Provable Stability Tightening via Spatial Smoothing [0.0]
付加過程障害を有する非線形系のモデル予測経路積分(MPPI)制御について検討する。
不一致な外乱共分散は閉ループ安定性証明書に永続的なペナルティをもたらす。
論文 参考訳（メタデータ） (2026-07-09T21:12:40Z) - Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data [3.7437735326653883]
本稿では,分離可能なデータに対する完全バッチ線形分類における速度制御中間事例について検討する。
指数損失を重み付けしたメモリレス安定アニール型スムーズドサイン降下に対して, 正規化繰り返しは, 凸バーグ型バリアの最小化に収束することが証明された。
論文 参考訳（メタデータ） (2026-07-07T08:55:35Z) - Predictable GRPO: A Closed-Form Model of Training Dynamics [1.0537323885285492]
我々はこれらの力学の第一原理還元次モデルを開発する。
グループサイズは、ノイズ温度として、先行順に入力される。
3つのモデルと2つのグループサイズで、クローズドフォームの軌道はトレーニング報酬をR2 geq 0.91$に適合させる。
論文 参考訳（メタデータ） (2026-06-29T18:19:09Z) - Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts [60.95873409673775]
連続時間潜在微分方程式モデルにおける識別可能性はほとんど開のままである。
未知の非線形微分同相を通じて観測される付加ノイズ潜在SDEについて検討した。
本稿では,2段階の遅延不整合とグラフ復元のための推定器を提案する。
論文 参考訳（メタデータ） (2026-06-26T16:18:28Z) - On the Variance of Temporal Difference Learning and its Reduction Using Control Variates [54.916555668983726]
分散低減のメカニズムの1つは、多数の独立軌道を効果的に集約することである。
モンテカルロ推定器の挙動を, 慎重に設計した環境下で数値的に説明する。
論文 参考訳（メタデータ） (2026-06-18T15:20:10Z) - Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。
探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。
有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
論文 参考訳（メタデータ） (2026-05-22T11:37:22Z) - Behavior-Aware Auxiliary Corrections for Off-Policy Temporal-Difference Prediction [17.99246244661535]
本稿では,線形予測設定における補助共分散幾何の振る舞いを考慮した置換について検討する。
動作認識の代替は、いくつかのタスクにおいてそれ自体が有益であることを示すが、より厳しい設定で堅牢なパフォーマンスを実現するためには、定期化が必要である。
論文 参考訳（メタデータ） (2026-05-17T08:49:52Z) - Regularized Centered Emphatic Temporal Difference Learning [14.415762410365106]
関数近似を用いたオフ政治時間差学習(TD)は、安定性、投影幾何学、分散制御の間の構造的トレードオフに直面している。
強調的TD(ETD)は、追従的強調により、非政治的な射影幾何学を改善するが、追従的トレースは高いばらつきを持つ。
本稿では,後続トレースを保存し,補助中心再帰のみを正規化する,強調時間差学習(RETD)を提案する。
論文 参考訳（メタデータ） (2026-05-02T10:32:24Z) - PER-ETD: A Polynomially Efficient Emphatic Temporal Difference Learning
Method [49.93717224277131]
PEriodically Restarted-ETD(PEriodically Restarted-ETD)と呼ばれる新しいETD手法を提案する。
PER-ETD は ETD と同じ所望の固定点に収束するが, 指数的なサンプルの複雑性は向上する。
論文 参考訳（メタデータ） (2021-10-13T17:40:12Z) - Reanalysis of Variance Reduced Temporal Difference Learning [57.150444843282]
Korda と La が提案した分散還元型TD (VRTD) アルゴリズムは,マルコフサンプルを用いたオンラインTD学習に直接適用する。
我々は,VRTDが線形収束速度でTDの固定点解の近傍に収束することが保証されていることを示す。
論文 参考訳（メタデータ） (2020-01-07T05:32:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。