論文の概要: A Convergence Framework for Deep $V$-Learning: Error Propagation and Sharp Action-Gap Bounds
- arxiv url: http://arxiv.org/abs/2609.18782v1
- Date: Wed, 16 Sep 2026 15:03:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.861151
- Title: A Convergence Framework for Deep $V$-Learning: Error Propagation and Sharp Action-Gap Bounds
- Title（参考訳）: 深層学習のための収束フレームワーク:エラー伝搬とシャープ動作ギャップ境界
- Abstract要約: 更新エラーを、フィッティング、遷移再利用、ターゲット構築、リプレイ、アクション選択、探索の6つの残差に分解する。
次数$n-$の統計的誤差境界に対して、最適連続割り当てと、制約された最適値の係数2$以内の整数割り当てを導出する。
これらの結果から, FIFO/インターリーブされたSGDに対して, 厳密な動作スコアを有する固定水平生成-リセット近似-ERM法に対して, 期待されるポリシ-ロス一貫性が得られた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We establish convergence bounds for deep $V$-learning with horizon $H$. The algorithm fits a scalar value function to targets from executed transitions and selects actions using a predictive model and the value function. For current observed-successor targets with fresh true-kernel outcomes, the conditional mean is $\mathcal{T}^βV$, which averages over behavior-policy actions. The Bellman optimality update is $\mathcal{T} V$. We decompose the update error into six residuals: fitting, transition reuse, target construction, replay, action selection, and exploration. Under $L^s$ concentrability, their $L^p$ norms ($p=s/(s-1)$) control expected $L^1$ policy loss. The bound explicitly weights residuals from only the last $H-1$ update blocks, plus an initialization term for shorter runs. We quantify the cost of a shared sampling distribution across horizon levels. For statistical error bounds of order $n^{-ν}$, we derive optimal continuous allocations and an integer allocation whose objective is within a factor $2^ν$ of the constrained optimum. A margin condition with exponent $α$ gives action error of order $Λ^{1+α/p}$, where $Λ$ combines network drift and score error; a one-step construction proves the exponent sharp. Bounds on the distance between frozen and optimal scores transfer an optimal-gap condition to frozen-iterate gap bounds while retaining the mass of optimal ties. Survival probabilities and coverage conditions at deployment yield bounds for policies selected with approximate scores. Separate spatial ReLU networks per horizon level give a conditional neural regression rate, and the finite-state case gives a log-free expected fit rate. These results give expected policy-loss consistency for the fixed-horizon generative-reset approximate-ERM procedure with exact action scores and provide an explicit residual-decay criterion for FIFO/interleaved SGD.
- Abstract（参考訳）: We establish convergence bounds for deep $V$-learning with horizon $H$。
このアルゴリズムは、実行された遷移からターゲットにスカラー値関数を適合させ、予測モデルと値関数を用いてアクションを選択する。
新たな真のカーネル結果を持つ現在の観測成功目標に対して、条件平均は $\mathcal{T}^βV$ であり、行動-政治行動よりも平均的である。
Bellmanの最適性更新は$\mathcal{T} V$である。
更新エラーを、フィッティング、遷移再利用、ターゲット構築、リプレイ、アクション選択、探索の6つの残差に分解する。
L^s$集中性の下では、その$L^p$ノルム(p=s/(s-1)$)制御が期待される$L^1$ポリシー損失である。
境界は、最後の$H-1$の更新ブロックのみの残余を明示的に重み付け、短い実行の初期化項も含む。
水平線準位における共有サンプリング分布のコストを定量化する。
次数 $n^{-ν}$ の統計的誤差境界に対して、最適連続割り当てと、制約された最適値の係数 2^ν$ の範囲内にある整数割り当てを導出する。
指数 $α$ のマージン条件は、次の順序のアクション誤差 $ ^{1+α/p}$ を与えるが、$ はネットワークのドリフトとスコアエラーを組み合わせ、一段階の構成は指数のシャープを証明している。
凍結点と最適点の間の距離の境界は最適ギャップ条件を最適結合の質量を保持しながら凍点ギャップ境界に伝達する。
およそのスコアで選択された政策の生存確率と展開時のカバレッジ条件は、収量境界である。
水平線レベルごとに異なる空間ReLUネットワークは条件付き神経回帰率を与え、有限状態の場合、対数自由適合率を与える。
これらの結果から, FIFO/インターリーブされたSGDに対して, 厳密な動作スコアを持つ固定水平生成-リセット近似-ERM法に対して, 期待されるポリシ-ロス一貫性が得られた。
関連論文リスト
- Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。
スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
論文 参考訳（メタデータ） (2026-09-07T01:38:41Z) - Nested Convex-Body Chasing for Online Optimization with Evolving Feasible Sets [0.0]
ネストした縮小可能な領域を2つの設定でオンライン最適化する。
懸念されている最小限の試験と累積余剰試験は、後悔の保証を保っている。
決定論的リセット可能なネスト付き凸体チェッカーは運動を制限する。
論文 参考訳（メタデータ） (2026-08-29T06:01:56Z) - Drift Variation Autoencoder: Unifying Generation and Representation Learning through Conditional Posterior Flow Matching [0.0]
この研究は、条件生成の共通統計対象として対応する後続の$P(Xmid C)$を取る。
ドリフト変動オートエンコーダは、マスク付きエンコーダ$Z=E(C)$と、1つのきれいな予測フローマッチング損失を持つ条件付きフローデコーダを訓練する。
論文 参考訳（メタデータ） (2026-08-25T20:38:50Z) - Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。
この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
論文 参考訳（メタデータ） (2026-04-12T20:49:33Z) - Convergence Rate of a Functional Learning Method for Contextual Stochastic Optimization [0.6015898117103067]
我々は,条件付き予測を共同で推定し,外的目的を最適化する同時学習最適化アルゴリズムを解析する。
我々は,この手法が次数$mathcalObig (1/sqrtNbig)$の収束率を達成することを証明した。
論文 参考訳（メタデータ） (2026-03-13T14:53:35Z) - Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
論文 参考訳（メタデータ） (2025-06-30T13:27:39Z) - Entangled Mean Estimation in High-Dimensions [36.97113089188035]
信号のサブセットモデルにおける高次元エンタングルド平均推定の課題について検討する。
最適誤差(polylogarithmic factor)は$f(alpha,N) + sqrtD/(alpha N)$であり、$f(alpha,N)$は1次元問題の誤差であり、第二項は準ガウス誤差率である。
論文 参考訳（メタデータ） (2025-01-09T18:31:35Z) - Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - Stochastic Shortest Path: Minimax, Parameter-Free and Towards
Horizon-Free Regret [144.6358229217845]
エージェントが目標状態に到達する前に蓄積される期待コストを最小限に抑えるために,最短経路(ssp)設定で学習する問題について検討する。
我々は,経験的遷移を慎重に歪曲し,探索ボーナスで経験的コストを摂動する新しいモデルベースアルゴリズムEB-SSPを設計する。
私達はEB-SSPが$widetildeO(B_star sqrtS A K)$のミニマックスの後悔率を達成することを証明します。
論文 参考訳（メタデータ） (2021-04-22T17:20:48Z) - Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive
Multi-Step Bootstrap [84.66885506098724]
本稿では,アダプティブ・マルチステップ・ブートストラップ (AMB) を用いた表層有限水平マルコフ決定過程 (MDP) のモデルフリーアルゴリズムを提案する。
AMBは,部分最適ギャップの逆の和でのみスケールする,ギャップ依存的後悔境界を達成できることを示す。
また、AMB は $frac|Z_mul|Delta_min$ regret という追加の $frac|Z_mul|Delta_min$ を被っていることも示しています。
論文 参考訳（メタデータ） (2021-02-09T07:46:34Z) - Nearly Minimax Optimal Reward-free Reinforcement Learning [88.75843804630772]
本稿では、特にバッチ強化学習に適した報酬不要強化学習フレームワークと、複数の報酬関数に対するポリシーを必要とするシナリオについて検討する。
textbfStaged textbfSampling + textbfTruncated textbfPlanning (algoname) という新しい効率的なアルゴリズムを提供しています。
論文 参考訳（メタデータ） (2020-10-12T17:51:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。