論文の概要: Mathematical methods of reinforcement learning
- arxiv url: http://arxiv.org/abs/2607.06935v1
- Date: Wed, 08 Jul 2026 02:57:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.268245
- Title: Mathematical methods of reinforcement learning
- Title（参考訳）: 強化学習の数学的方法
- Abstract要約: この調査は、強化学習における現代アルゴリズムの設計と解析の基盤となる数学的構造を整理する。
我々はマルコフ決定過程(MDPs)とベルマン作用素から始まり、縮約写像、単調性、固定点理論を強調する。
次に、近似法とマーチンゲール法、凸双対性、および鏡/近距離法を連結する正規化の役割という最適化の観点を開発する。
- 参考スコア（独自算出の注目度）: 43.355758007172646
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) is increasingly grounded in tools from probability, optimization, and operator theory. This survey organizes the mathematical structures that underpin the design and analysis of modern algorithms in RL. We begin from Markov decision processes (MDPs) and the Bellman operators, emphasizing contraction mappings, monotonicity, and fixed-point theory that yield convergence guarantees and rates for value and policy iteration, and temporal-difference schemes. We then develop the optimization perspective: stochastic approximation and martingale methods, convex duality and the role of regularization linking mirror/proximal methods. Function approximation is treated through linear and non-linear settings, covering stabilization, error decomposition, and sample-complexity via concentration inequalities for dependent data and mixing processes. We further cover off-policy evaluation/learning, constrained RL and constrained MDPs (CMDPs). Throughout we unify algorithmic templates under common operator and variational lenses, highlighting both finite-sample bounds and asymptotic results. Our presentation is intended to provide a unified mathematical entry point for researchers in probability, optimization, and statistics interested in reinforcement learning.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、確率、最適化、演算子理論といったツールに基礎を置いている。
この調査は、RLにおける現代アルゴリズムの設計と解析の基盤となる数学的構造を整理する。
我々はマルコフ決定過程(MDPs)とベルマン作用素から始まり、縮約写像、単調性、帰納収束の保証と値とポリシーの反復に対するレート、時間差分スキームを強調した。
次に、確率近似とマーチンゲール法、凸双対性、およびミラー/近距離法を連結する正規化の役割という最適化の観点を開発する。
関数近似は線形および非線形な設定によって処理され、依存データと混合プロセスの濃度不等式による安定化、誤差分解、サンプル複雑度をカバーする。
さらに、政治以外の評価/学習、制約付きRL、制約付きMDP(CMDP)についても取り上げる。
全体を通して、共通演算子と変分レンズの下でアルゴリズムテンプレートを統一し、有限サンプル境界と漸近結果の両方を強調する。
本発表は,強化学習に関心のある確率,最適化,統計学の研究者に対して,統一的な数学的エントリポイントを提供することを目的としている。
関連論文リスト
- Using Non-Lipschitz Signum-based Functions for Distributed Optimization and Machine Learning: Trade-off Between Con-vergence Rate and Optimality Gap [9.045698110081686]
非Lipschitz連続最適化アルゴリズムは、既存の線形解の緩やかな収束率を改善するために提案されている。
分散回帰問題を解析し、線形および非リプシッツ符号に基づく関数を適用して収束率をチェックする。
以上の結果から,シグナムをベースとした菌根反応はより高速に収束するが,高い最適性ギャップが生じる可能性が示唆された。
論文 参考訳（メタデータ） (2026-08-02T13:06:12Z) - Reinforcement Learning for Exponential Utility: Algorithms and Convergence in Discounted MDPs [2.574071344130061]
マルコフ決定過程における指数効用最適化のための強化学習(RL)は、原則的値ベースアルゴリズムを欠いている。
2つのQ値型拡張を導出し、関連する作用素が$L_infty$とsup-log/Thompsonメトリクスの縮約であることを示す。
我々は、時間スケールの分離により、ほぼ全周収束を確立し、有限時間収束率を与えるとともに、サブ線形パワーロー演算子によって制御される1時間スケールのアルゴリズムを提供する。
論文 参考訳（メタデータ） (2026-05-08T17:41:48Z) - Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。
推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
論文 参考訳（メタデータ） (2025-12-03T13:16:35Z) - Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。
提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2025-05-28T14:14:19Z) - Uncertainty quantification for Markov chain induced martingales with application to temporal difference learning [55.197497603087065]
線形関数近似を用いた時間差分学習アルゴリズムの性能解析を行った。
マルコフ連鎖によって誘導されるベクトル値マルティンタに対する新規で一般的な高次元濃度不等式とベリー-エッセイン境界を確立する。
論文 参考訳（メタデータ） (2025-02-19T15:33:55Z) - Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
本稿では,拡張性のある並列コンピューティングを実現するアルゴリズムであるPISAを開発し,様々な前提条件をサポートする。
これは、有界領域上の勾配のリプシッツ連続性の唯一の仮定の下で収束し、メソッドによって一般的に課される他の条件の必要性を取り除く。
様々な最先端の繰り返しに比べて優れた数値性能を示す。
論文 参考訳（メタデータ） (2025-02-15T12:28:51Z) - Elliptical Wishart distributions: information geometry, maximum likelihood estimator, performance analysis and statistical learning [7.499241611226476]
確率推定器(MLE)を演算する2つのアルゴリズムを提案する。
The $t$-Wishart distribution, the MLE and statistics learning algorithm are evaluation。
論文 参考訳（メタデータ） (2024-11-05T01:52:27Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。
我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。
車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
論文 参考訳（メタデータ） (2024-07-24T12:00:30Z) - Conditional Mean and Variance Estimation via \ extit{k}-NN Algorithm with Automated Variance Selection [9.943131787772323]
条件平均と分散度を共同で推定するための新しいテクストリック・アレスト・ニアレスト回帰法(textitk-NN)を提案する。
提案アルゴリズムは,古典的非パラメトリックテクトitk-NNモデルの計算効率と多様体学習能力を保持する。
論文 参考訳（メタデータ） (2024-02-02T18:54:18Z) - Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via
Online High-Confidence Change-Point Detection [7.685002911021767]
非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。
これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。
i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
論文 参考訳（メタデータ） (2021-05-20T01:57:52Z) - A Distributional Analysis of Sampling-Based Reinforcement Learning
Algorithms [67.67377846416106]
定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。
本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
論文 参考訳（メタデータ） (2020-03-27T05:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。