論文の概要: Frequency-Uniform Log-Regret Reinforcement Learning for Diffusions

• arxiv url: http://arxiv.org/abs/2610.36758v1
• Date: Tue, 27 Oct 2026 07:14:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.533886
• Title: Frequency-Uniform Log-Regret Reinforcement Learning for Diffusions
• Title（参考訳）: 拡散のための周波数一様対数強化学習
• Abstract要約: 制御拡散のオイラー離散化のためのエピソード値に基づく強化学習について検討した。 我々は$mathcalO(log K)$ regret bound with constants uniform in $$を証明した。 制約付きモデルベース制御拡散-$Q$アルゴリズムに対して,これらの条件の局所化バージョンを検証する。
• 参考スコア（独自算出の注目度）: 2.592931185448233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-frequency control problems are often studied through time discretization, but refining the timestep $δ$ increases the discrete horizon $H=T/δ$ and can make standard finite-horizon regret guarantees deteriorate even when the physical horizon $T$ is fixed. We study episodic value-based reinforcement learning for Euler discretizations of controlled diffusions. The performance is measured as the cumulative regret over $K$ episodes relative to the optimal policy of the corresponding Euler model. Under stability and regularity conditions on value function gradients, Bellman residual derivatives, and fitted critics, we prove an $\mathcal{O}(\log K)$ regret bound with constants uniform in $δ$. For dynamics with drift linear in unknown parameters and unknown constant diffusion covariance, we verify localized versions of these conditions for a constrained, model-based controlled-diffusion fitted-$Q$ algorithm (CD-FQ) and obtain high-probability $\mathcal{O}(\log K\log\log K)$ regret for fixed and finite $T$, again with constants uniform in $δ$.
• Abstract（参考訳）: 高周波制御問題はしばしば時間離散化によって研究されるが、時間ステップ$δ$は離散地平線$H=T/δ$を増大させ、物理的地平線$T$が固定された場合でも標準有限水平後悔保証を悪化させる。 制御拡散のオイラー離散化のためのエピソード値に基づく強化学習について検討した。 この性能は、対応するオイラーモデルの最適ポリシーと比較して、$K$のエピソードに対する累積的後悔として測定される。 値関数勾配、ベルマン残差微分、および適合した批評家の安定性と規則性条件の下で、$δ$の定数で一様となる$\mathcal{O}(\log K)$後悔を証明した。 未知パラメータのドリフト線型と未知の定数拡散共分散を持つダイナミクスに対しては、これらの条件の局所化バージョンを、制約付きモデルベース制御拡散アルゴリズム(CD-FQ)に対して検証し、高確率の $\mathcal{O}(\log K\log\log K)$ regret for fixed and finite $T$, again with constants uniform in $δ$ を得る。

関連論文リスト

• Diffusion Removes Langevin's Conditioning Dependence: A Sharp Gaussian Analysis [9.153087371271118]
  拡散過程がサンプリング誤差を$O(sqrtd_maxlog N/N)$,$d$が寸法,$N$がサンプリングステップ数,$_max$がターゲット共分散行列の最大固有値であることを示す。 また、勾配降下による無雑音スコアの推定は、ノイズスコアの推定と基本的に同じ推定結果となり、ノイズの利点は学習段階から来ないことが示唆された。
  論文  参考訳（メタデータ） (2026-10-08T14:36:38Z)
• Parameter-Free Interval-Dynamic Regret under Heavy-Tailed Noise [55.29259818039367]
  オンライン凸最適化を1ラウンドに1つの偏りのない下位段階と、未知の有限条件の雑音モーメントであるp$th, $1ple2$で検討する。 長さ$n$の固定区間$I$に対して、学習者は最適な全水平静的レートを含む1+log(T/n)$を達成する。
  論文  参考訳（メタデータ） (2026-09-30T21:03:03Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations [49.702772230127465]
  有限状態マルコフ鎖を$n$状態と遷移行列$P$で研究する。 すべての非退化モードが実周辺不変部分空間 $mathcalK(P)$ によってキャプチャされ、商空間 $mathbbRn/mathcalK(P) 上の誘導作用素が厳密に収縮し、ユニークな商解が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-31T02:57:01Z)
• Designing Preconditioners for SGD: Local Conditioning, Noise Floors, and Basin Stability [38.75338802679837]
  SGD(Gradient Descent)は、異方性曲率と勾配雑音により訓練後期に遅くなることが多い。 対称正行列$mathbfM$により誘導される幾何学におけるSGDを解析し、収束率とノイズフロアの両方が$mathbfM$依存量でバウンドされる境界を導出する。 診断と3つのSciMLベンチマークの実験は、予測フロアの挙動を検証する。
  論文  参考訳（メタデータ） (2025-11-24T21:24:40Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Generalization Bounds for Label Noise Stochastic Gradient Descent [0.0]
  非測定条件でのラベルノイズを伴う勾配降下(SGD)の一般化誤差境界について検討する。 我々の分析はラベルノイズの影響についての洞察を与える。
  論文  参考訳（メタデータ） (2023-11-01T03:51:46Z)
• Generalized moduli of continuity under irregular or random deformations via multiscale analysis [0.0]
  多分解近似空間の信号に対して、$U_s$ at scale $s$, $L2$ in the regime $|tau|_Linfty/sll 1$。 不安定性は、|tau|_Linfty/sgg 1$ のときに起こり、成長速度に対して鋭い上限を与える。
  論文  参考訳（メタデータ） (2021-04-24T16:16:30Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。