Fugu-MT 論文翻訳(概要): Optimal Value Inference for Reinforcement Learning

論文の概要: Optimal Value Inference for Reinforcement Learning

arxiv url: http://arxiv.org/abs/2609.09981v2
Date: Thu, 17 Sep 2026 14:24:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-20 08:55:53.365608
Title: Optimal Value Inference for Reinforcement Learning
Title（参考訳）: 強化学習のための最適値推論
Abstract要約: 有限状態および行動空間下での強化学習における最適値のオフライン推論について検討する。 2つの新しいニュアンセは自己誘導ベルマン方程式の固定点として導かれる。我々は、ネマニティを通した偏バイアス推定器を提案し、その正規性を確立する。
参考スコア（独自算出の注目度）: 17.717171821276427
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study offline inference for the optimal value in reinforcement learning under finite state and action spaces. Two new nuisances are derived as fixed points of a self-induced Bellman equation, in which we approximate the maximum Bellman operator by its softmax correspondence. We propose a debiased estimator through the Neyman orthogonality and establish its asymptotic normality under diverging horizons even when the behavior policy changes with time, as long as the nuisances have the statistical rates that can be achieved by many machine learning methods. We provide a concrete estimating procedure for these nuisances and show they can lead to valid inference. Synthetic experiments validate the numerical performance of our inference method, and we implement it in real-life decision-making problems, including bike repositioning and AI agentic tool use.
Abstract（参考訳）: 有限状態および行動空間下での強化学習における最適値のオフライン推論について検討する。 2つの新しいニュアンセは自己誘導ベルマン方程式の固定点として導出され、ベルマン作用素のソフトマックス対応により近似する。我々は,ベイマン直交性による偏り推定器を提案し,行動方針が時間とともに変化しても,その漸近正規性を確立する。これらの問題に対する具体的な推定手順を提供し、妥当な推測につながることを示す。合成実験により,提案手法の数値的性能を検証し,自転車再配置やAIエージェントツールの使用など,実生活における意思決定問題に実装する。

関連論文リスト

OEUVRE: OnlinE Unbiased Variance-Reduced loss Estimation [23.762163604982366]
我々は,現在および過去の時間ステップで学習した関数に対して,各入力サンプルを評価する推定器であるOEUVREを紹介する。アルゴリズムの安定性は、多くのオンライン学習者が満足する特性であり、最適な更新、一貫性の証明、収束率、そして推定器の集中バウンドである。
論文参考訳（メタデータ） (2025-10-26T16:41:17Z)
Inverse Reinforcement Learning Using Just Classification and a Few Regressions [38.71913609455455]
逆強化学習は、基礎となる報酬を明らかにすることによって観察された振る舞いを説明することを目的としている。集団最大化解は, 行動方針を含む線形不動点方程式によって特徴づけられることを示す。最適解法,一般オラクルアルゴリズム,有限サンプル誤差境界,およびMaxEnt IRLに対する競合的あるいは優れた性能を示す実験結果の正確な評価を行う。
論文参考訳（メタデータ） (2025-09-25T13:53:43Z)
Risk-Averse Reinforcement Learning with Itakura-Saito Loss [63.620958078179356]
リスク回避エージェントはリスクを最小限に抑えるポリシーを選択し、時には期待される価値を犠牲にする。状態値と行動値の関数を学習するために,板倉-斎藤偏差に基づく数値的に安定かつ数学的に損失関数を導入する。実験セクションでは、既知の解析解を含む複数のシナリオを探索し、その損失関数が代替よりも優れていることを示す。
論文参考訳（メタデータ） (2025-05-22T17:18:07Z)
Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。このような問題は医学、物理学、機械学習で発生する。両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文参考訳（メタデータ） (2024-11-21T10:26:17Z)
Statistical Inference for Temporal Difference Learning with Linear Function Approximation [55.80276145563105]
The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。 3つの理論的な貢献により、現在の最先端の成果が向上する。
論文参考訳（メタデータ） (2024-10-21T15:34:44Z)
Explicit Lipschitz Value Estimation Enhances Policy Robustness Against Perturbation [2.2120851074630177]
ロボット制御タスクでは、シミュレーションにおいて強化学習(RL)によって訓練されたポリシーは、物理ハードウェアにデプロイされた場合、しばしばパフォーマンス低下を経験する。リプシッツ正則化は、近似値関数勾配の条件付けに役立ち、訓練後のロバスト性の向上につながる。
論文参考訳（メタデータ） (2024-04-22T05:01:29Z)
In Defense of Softmax Parametrization for Calibrated and Consistent Learning to Defer [27.025808709031864]
ソフトマックスでパラメータを遅延する学習のための一般的な推定器は、遅延する可能性の未有界推定を与えることが理論的に示されている。従来の文献における誤校正・非有界推定器の原因は,ソフトマックスによるものではなく,サロゲート損失の対称性によるものであることを示す。統計的に一貫した非対称なソフトマックスに基づくサロゲート損失を提案する。
論文参考訳（メタデータ） (2023-11-02T09:15:52Z)
Actively Learning Reinforcement Learning: A Stochastic Optimal Control Approach [3.453622106101339]
本研究では,2つの相互に結びついた目的を達成するための枠組みを提案する。 (i) 積極的な探索と意図的な情報収集を伴う強化学習と, (ii) 最適制御法の計算的難易度を克服する枠組みである。我々は、強化学習を用いて最適制御則を計算することにより、両方の目的にアプローチする。一定の探索と搾取バランスとは異なり、学習プロセスが終了しても、警告と探索はリアルタイムでコントローラによって自動的に行われる。
論文参考訳（メタデータ） (2023-09-18T18:05:35Z)
Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文参考訳（メタデータ） (2023-07-27T04:27:26Z)
Model-Based Uncertainty in Value Functions [89.31922008981735]
MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
論文参考訳（メタデータ） (2023-02-24T09:18:27Z)
Robust Fitted-Q-Evaluation and Iteration under Sequentially Exogenous Unobserved Confounders [9.401989343015364]
連続的に外生的でない共同設立者が存在する場合、ロバストな政策評価と政策最適化について検討する。本研究は,敗血症治療のシミュレーションと実世界の縦断医療データの両方において,複雑性境界,洞察,有効性を示す。
論文参考訳（メタデータ） (2023-02-01T18:40:53Z)
Reinforcement Learning with a Terminator [80.34572413850186]
我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
論文参考訳（メタデータ） (2022-05-30T18:40:28Z)
Bellman Residual Orthogonalization for Offline Reinforcement Learning [53.17258888552998]
我々はベルマン方程式を近似した新しい強化学習原理を導入し、その妥当性をテスト関数空間にのみ適用する。我々は、この原則を利用して、政策外の評価のための信頼区間を導出するとともに、所定の政策クラス内の政策を最適化する。
論文参考訳（メタデータ） (2022-03-24T01:04:17Z)
Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。