論文の概要: Sparse Additive Off-Policy Evaluation for Reinforcement Learning with Potentially Limited Number of Trajectories

• arxiv url: http://arxiv.org/abs/2608.22595v1
• Date: Sun, 23 Aug 2026 21:02:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.799218
• Title: Sparse Additive Off-Policy Evaluation for Reinforcement Learning with Potentially Limited Number of Trajectories
• Title（参考訳）: 軌道数に制限のある強化学習のためのスパース付加型オフポリシィ評価
• Abstract要約: 我々は,無限水平強化学習のための柔軟性,非線形性,解釈可能なオフ政治評価のための新しいフレームワークを開発した。 目標ポリシの値関数を推定するために,高確率有限サンプル誤差境界を導出する。
• 参考スコア（独自算出の注目度）: 25.791211571263148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a new framework for flexible, nonlinear, and interpretable off-policy evaluation for infinite-horizon reinforcement learning. To handle large state spaces and support transparent decision-making, we model the Q-function using a nonlinear function class with a sparse additive structure. We derive high-probability finite-sample error bounds for estimating the value function of a target policy and show that the bounds depend only logarithmically on the ambient dimension $d$, thereby alleviating the curse of dimensionality. In contrast to most existing theory for off-policy evaluation, which typically assumes access to many trajectories, our analysis guarantees accurate value estimation when either the number of trajectories or the time horizon is sufficiently large. In addition, we propose a group-sparsity-based feature screening procedure that identifies, with high probability, a reduced feature set containing all relevant covariates. Numerical experiments demonstrate the effectiveness of the proposed approach.
• Abstract（参考訳）: 我々は,無限水平強化学習のための柔軟性,非線形性,解釈可能なオフ政治評価のための新しいフレームワークを開発した。 大きな状態空間を処理し、透明な意思決定を支援するために、疎加法構造を持つ非線形関数クラスを用いてQ関数をモデル化する。 対象ポリシーの値関数を推定するために高確率有限サンプル誤差境界を導出し、その境界が周囲次元$d$に対数的にのみ依存していることを示し、従って次元の呪いを緩和する。 一般に多くの軌跡へのアクセスを前提とする政治外評価の既存の理論とは対照的に,我々の分析は軌跡数や時間的地平線が十分に大きい場合の正確な値推定を保証している。 さらに,グループスパーシティーに基づく特徴検定手法を提案し,関連するすべての共変量を含む縮小特徴集合を高い確率で同定する。 数値実験により提案手法の有効性が示された。

関連論文リスト

• Active Timepoint Selection for Learning Measure-Valued Trajectories [55.49809248697036]
  スナップショットから連続確率パスを推定することは、単細胞生物学のような領域における根本的な課題である。 スパース測度空間にアクティブな実験を拡張するフレームワークを導入する。 これにより、不確実性を最小限に抑えるために測定時間を反復的に選択する取得ポリシーが得られる。
  論文  参考訳（メタデータ） (2026-05-28T22:22:35Z)
• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [55.80276145563105]
  The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。 3つの理論的な貢献により、現在の最先端の成果が向上する。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• High-probability sample complexities for policy evaluation with linear function approximation [88.87036653258977]
  本研究では,2つの広く利用されている政策評価アルゴリズムに対して,最適線形係数の予め定義された推定誤差を保証するために必要なサンプル複素量について検討する。 高確率収束保証に縛られた最初のサンプル複雑性を確立し、許容レベルへの最適依存を実現する。
  論文  参考訳（メタデータ） (2023-05-30T12:58:39Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Offline Policy Optimization with Eligible Actions [34.4530766779594]
  オフラインポリシーの最適化は多くの現実世界の意思決定問題に大きな影響を与える可能性がある。 重要度サンプリングとその変種は、オフラインポリシー評価において一般的に使用されるタイプの推定器である。 そこで本稿では, 州ごとの正規化制約によって過度に適合することを避けるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-01T19:18:15Z)
• Sample Complexity of Nonparametric Off-Policy Evaluation on Low-Dimensional Manifolds using Deep Networks [71.95722100511627]
  深層ニューラルネットワークを用いた強化学習における非政治的評価問題について考察する。 ネットワークサイズを適切に選択することにより、マルコフ決定過程において低次元多様体構造を利用することができることを示す。
  論文  参考訳（メタデータ） (2022-06-06T20:25:20Z)
• A Sharp Characterization of Linear Estimators for Offline Policy Evaluation [33.37672297925897]
  オフライン政策評価は 強化学習の基本的な統計問題です 古典的手法に必要で十分である単純な制御理論と線形代数的条件を同定する。 この結果から, オフライン政策評価のための線形推定器の挙動の全体像が得られた。
  論文  参考訳（メタデータ） (2022-03-08T17:52:57Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• What are the Statistical Limits of Offline RL with Linear Function Approximation? [70.33301077240763]
  オフライン強化学習は、オフライン(観測的)データを活用して、シーケンシャルな意思決定戦略の学習を導く。 本研究は,提案可能なサンプル効率のオフライン強化学習を可能にする表現条件と分布条件の基本的な問題に焦点を当てる。
  論文  参考訳（メタデータ） (2020-10-22T17:32:13Z)
• Black-box Off-policy Estimation for Infinite-Horizon Reinforcement Learning [26.880437279977155]
  医療やロボティクスといった多くの現実的な応用において、長期的問題に対するオフ・ポリティクス推定が重要である。 政治外データの収集方法を知らずに定常分布の重要度を算出する新しい推定器を開発した。
  論文  参考訳（メタデータ） (2020-03-24T21:44:51Z)
• Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning [70.01650994156797]
  教育医療などのバッチ強化学習において、観察データからのシーケンシャルな意思決定方針のオフ・アセスメントが必要である。 我々は、ある政策の境界を推定するアプローチを開発する。 より凝縮したデータを集めることで、シャープな境界への収束を証明します。
  論文  参考訳（メタデータ） (2020-02-11T16:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。