論文の概要: Self-Normalized Inference for Constant-Stepsize Temporal-Difference Learning under Markovian Sampling

• arxiv url: http://arxiv.org/abs/2608.10896v1
• Date: Tue, 11 Aug 2026 13:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.048959
• Title: Self-Normalized Inference for Constant-Stepsize Temporal-Difference Learning under Markovian Sampling
• Title（参考訳）: マルコフサンプリングによる定段階時間差学習のための自己Normalized Inference
• Abstract要約: 定段階時間差学習(TD)は政策評価に魅力的であるが,1つのマルコフ軌道からの推論は連続的依存と段階的依存的定常目標を考慮しなければならない。 我々は、ランダムなTD行列と定常反復誤差によって誘導される乗法成分を共分散が保持する機能中心極限定理を確立する。 FrozenLakeとGarnetの実験では、静止目標被覆、RR目標補正、地平線インデクシング設計の有限サンプル挙動が示されている。
• 参考スコア（独自算出の注目度）: 9.271408028342496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constant-stepsize temporal-difference (TD) learning is attractive for policy evaluation, but inference from a single Markov trajectory must account for serial dependence and a stepsize-dependent stationary target. For fixed-stepsize linear TD, we establish a functional central limit theorem whose covariance retains the multiplicative component induced by the random TD matrix and the stationary iterate error. We then derive a joint functional limit for parallel Richardson--Romberg (RR) recursions driven by the same trajectory. A Brownian-bridge self-normalizer yields asymptotically pivotal confidence regions for prespecified state-value contrasts without estimating the long-run covariance or selecting a bandwidth or batch length. For such a contrast, the procedure admits a one-pass implementation whose memory does not grow with the trajectory length. At a fixed stepsize, the inferential center is the RR stationary target. We also study horizon-indexed designs in which the stepsize remains constant within each run and decreases across longer horizons. Under an explicit RR-dependent rate window, the residual RR target shift, multiplicative remainder, and initialization effect are negligible at the root-$n$ scale, yielding inference for the projected Bellman solution. Experiments on FrozenLake and Garnet illustrate stationary-target coverage, RR target correction, and the finite-sample behavior of the horizon-indexed design.
• Abstract（参考訳）: 定段階時間差学習(TD)は政策評価に魅力的であるが,1つのマルコフ軌道からの推論は連続的依存と段階的依存的定常目標を考慮しなければならない。 固定ステップの線形TDに対して、共分散がランダムなTD行列と定常反復誤差によって誘導される乗法成分を保持する機能中心極限定理を確立する。 次に、同じ軌道で駆動される平行リチャードソン-ロームバーグ再帰(RR)の連立関数極限を導出する。 ブラウンブリッジ自己正規化器は、長時間の共分散を推定したり、帯域幅やバッチ長を選択することなく、予め特定された状態値のコントラストに対して漸近的に重要な信頼領域を得る。 対照的に、このプロシージャは、トラジェクトリ長とともにメモリが成長しないワンパス実装を許容する。 固定段数では、推論中心はRR定常目標である。 また,各ランにおいて段差が一定であり,より長い水平線をまたいで減少する水平線インデクシング設計についても検討した。 明示的なRR依存率窓の下では、残差RRターゲットシフト、乗法残差、初期化効果はルート=$n$スケールで無視され、予想されたベルマン解に対する推論をもたらす。 FrozenLakeとGarnetの実験では、静止目標被覆、RR目標補正、地平線インデクシング設計の有限サンプル挙動が示されている。

関連論文リスト

• LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
  フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる 既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。 本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T04:47:57Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• A Doeblin-Anchored Contrastive Chart for Learning Markov Transition Kernels [1.2691047660244335]
  本稿では,トランジションカーネルを対照的な目的から学習するための統計的・動的座標フレームワークを提案する。 固定された相対的リスクは、固定された遷移密度を識別し、過剰なリスクを密度誤差に校正することを証明する。
  論文  参考訳（メタデータ） (2026-06-01T13:26:44Z)
• DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
  本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-17T07:14:44Z)
• Recovering Physical Dynamics from Discrete Observations via Intrinsic Differential Consistency [12.266189649117003]
  我々は地域の監督をグローバルな構造的制約に置き換える。 この特性からの偏差が2つの目的に作用する時間条件のセカント速度場を訓練する。 トレーニング正則化器として、時間スケールで一貫して構成されるフローに仮説空間を限定する。
  論文  参考訳（メタデータ） (2026-05-08T20:24:32Z)
• Intentional Updates for Streaming Reinforcement Learning [17.262453188534526]
  勾配に基づく学習では、パラメータ単位で選択されたステップサイズは、関数出力のステップ毎の変化を予測できない。 まず、アップデートの意図した結果を指定し、それを実現するステップサイズを解決します。
  論文  参考訳（メタデータ） (2026-04-21T03:33:40Z)
• BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation" [0.0]
  正確なバックプロパゲーションに必要な活性化メモリは、ネットワーク深さ、コンテキスト長、特徴次元と線形にスケールする。 本稿では,活性化メモリをバッチ次元とシーケンス次元から完全に分離する効率的なバックプロパゲーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-05T20:38:25Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Sparse Randomized Shortest Paths Routing with Tsallis Divergence Regularization [0.0]
  本研究は、重み付き有向グラフG上のソースノートsからターゲットノードtに到達するための最適ルーティングポリシーを設計する問題について詳述する。 ノードクラスタリングと半教師付き分類タスクの実験的比較により,予測されるルーティングコストに基づく導出相似度測定が最先端の結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-07-01T12:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。