論文の概要: Reinforcement Learning with Multi-Step Transition Predictions: A Bellman Theory

• arxiv url: http://arxiv.org/abs/2610.32887v1
• Date: Fri, 23 Oct 2026 16:55:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.61422
• Title: Reinforcement Learning with Multi-Step Transition Predictions: A Bellman Theory
• Title（参考訳）: 多段階遷移予測を用いた強化学習:ベルマン理論
• Abstract要約: ブロックフィードバックプロトコルの下で, ディスカウントされた有限MDPについて検討する。 最適値が元の状態空間上のベイズ的ベルマン方程式を満たすことを示す。 オンライン適応型ブロックフィードバックベイズオフライン学習を提案する。
• 参考スコア（独自算出の注目度）: 24.85612231267623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-step predictions of future transition realizations can improve reinforcement learning, but their value remains difficult to quantify. Directly including these predictions in the state can lead to exponential state-space growth, making direct dynamic programming computationally expensive. We study discounted finite MDPs under a block-feedback protocol: at the start of each K-period block, the decision maker observes $K$-step probabilistic transition predictions for a subset of actions and adapts decisions to observed states within the block. We show that the optimal value satisfies a Bayesian Bellman equation on the original state space. This representation reveals that predictive information creates value by recursively changing the local order of maximization and expectation in the Bellman expansion. We formalize this effect through a Bellman--Jensen analysis and quantify the effects of prediction horizon, error, action coverage, and within-block feedback. We propose block-feedback Bayesian offline learning with online adaptation (BF--BOLA), a model-based algorithm for learning near-optimal policies, and establish upper and lower sample-complexity bounds that match up to logarithmic factors in the stated regimes. The results show that predictions can reduce transition learning to uncovered rows and that learning a near-optimal policy can require fewer prediction samples than estimating the Bayesian value function.
• Abstract（参考訳）: 将来の遷移実現の多段階予測は強化学習を改善することができるが、その価値は定量化が難しいままである。 これらの予測を州に直接含めれば、指数関数的な状態空間の成長につながる可能性があり、直接動的プログラミングは計算コストがかかる。 各K周期ブロックの開始時に,各動作のサブセットに対するK$-step確率的遷移予測を観測し,ブロック内の観測状態に決定を適用する。 最適値が元の状態空間上のベイズ的ベルマン方程式を満たすことを示す。 この表現は、ベルマン展開における最大化と期待の局所順序を再帰的に変更することで予測情報が値を生成することを示した。 我々はベルマン解析を用いてこの効果を定式化し、予測水平線、誤差、行動カバレッジ、ブロック内フィードバックの影響を定量化する。 本稿では,オンライン適応型ブロックフィードバックベイズオフライン学習(BF-BOLA)を提案する。 その結果、予測は未発見行への遷移学習を減らし、準最適ポリシーの学習はベイズ値関数を推定するよりも少ない予測サンプルを必要とすることが示された。

関連論文リスト

• Conditional Flow Models for Offline Maximum Entropy Reinforcement Learning [20.77928805591345]
  固定データセットから最適なソフトアクション値関数(Q*)を推定するためのフレームワークを提案する。 確率フローODEに基づく条件拡散モデルでは、条件付き報酬分布と遷移カーネルを推定する。 深層強化学習に関する多くの理論解析とは対照的に、この結果はベルマン完全性を必要としない。
  論文  参考訳（メタデータ） (2026-10-23T03:51:58Z)
• PAC-Bayes Meets Online Contextual Optimization [4.004966432215451]
  この作業は、私たちの知る限り、最初のオンラインコンテキスト最適化フレームワークを紹介します。 PAC-Bayes理論と一般ベイズ的更新原理に基づいて、我々のフレームワークはGibs後部を通した有界および混合可能な損失に対して$mathcalO(sqrtT)$ regretを達成する。
  論文  参考訳（メタデータ） (2025-11-25T15:37:31Z)
• Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
  大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である 我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。 提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
  論文  参考訳（メタデータ） (2025-10-27T23:10:06Z)
• Reinforcement Learning with Imperfect Transition Predictions: A Bellman-Jensen Approach [24.85612231267623]
  伝統的な強化学習では、エージェントは1段階の遷移モデルでマルコフ決定プロセス(MDP)に基づいて決定を行う。 エネルギー管理や株式投資のような現実世界の多くのアプリケーションでは、エージェントは将来の状態の多段階予測にアクセスできる。 本稿では,オフラインベイズ値学習を軽量なオンライン適応からリアルタイム予測へ分離する2段階モデルベースRLアルゴリズムBOLAを紹介する。
  論文  参考訳（メタデータ） (2025-10-21T14:47:08Z)
• Bayesian learning of the optimal action-value function in a Markov decision process [7.186805722297615]
  私たちは、モデリングから推論、意思決定まで、完全なベイズ的なフレームワークを提供しています。 推論のために,緩やかな後部分布の列をサンプリングし,調整するために,適応的な連続モンテカルロアルゴリズムを提案する。 一般的に行われているが、マルチアームバンディット問題からのトンプソンサンプリングの一般化であることを示す新しい洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-03T16:37:14Z)
• Deterministic Uncertainty Propagation for Improved Model-Based Offline Reinforcement Learning [12.490614705930676]
  本稿では,ベルマン目標計算によって得られたモンテカルロ試料数に対する準最適性の強い依存性を示す理論的結果を示す。 我々の主な貢献は、進行モーメントマッチングを利用するベルマン目標に対する決定論的近似である。 我々は,既存のモンテカルロサンプリング手法よりもMOMBOの準最適性について,より厳密な保証を提供することが可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:58:41Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Nearly Optimal Latent State Decoding in Block MDPs [74.51224067640717]
  エピソードブロック MDP では、意思決定者は少数の潜在状態から生成される豊富な観測やコンテキストにアクセスすることができる。 まず、固定動作ポリシーに基づいて生成されたデータに基づいて、潜時状態復号関数を推定することに興味がある。 次に、報酬のないフレームワークにおいて、最適に近いポリシーを学習する問題について研究する。
  論文  参考訳（メタデータ） (2022-08-17T18:49:53Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。