Fugu-MT 論文翻訳(概要): Forward and Backward State Abstractions for Off-policy Evaluation

論文の概要: Forward and Backward State Abstractions for Off-policy Evaluation

arxiv url: http://arxiv.org/abs/2406.19531v1
Date: Thu, 27 Jun 2024 21:12:26 GMT
ステータス: 処理完了
システム内更新日: 2024-07-01 18:31:50.627117
Title: Forward and Backward State Abstractions for Off-policy Evaluation
Title（参考訳）: オフ・ポリティクス評価のためのフォワードとバック・ステートの抽象化
Authors: Meiling Hao, Pingfan Su, Liyuan Hu, Zoltan Szabo, Qingyuan Zhao, Chengchun Shi,
Abstract要約: 政策学習用に設計された状態抽象化について検討する。本研究では,Q-関数の非依存化と重要度サンプリング比の限界化を実現するための十分な条件を導出する。本稿では,元の状態空間をより小さな空間に逐次投影する新しい2段階の手順を提案する。
参考スコア（独自算出の注目度）: 8.217357233801545
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Off-policy evaluation (OPE) is crucial for evaluating a target policy's impact offline before its deployment. However, achieving accurate OPE in large state spaces remains challenging.This paper studies state abstractions-originally designed for policy learning-in the context of OPE. Our contributions are three-fold: (i) We define a set of irrelevance conditions central to learning state abstractions for OPE. (ii) We derive sufficient conditions for achieving irrelevance in Q-functions and marginalized importance sampling ratios, the latter obtained by constructing a time-reversed Markov decision process (MDP) based on the observed MDP. (iii) We propose a novel two-step procedure that sequentially projects the original state space into a smaller space, which substantially simplify the sample complexity of OPE arising from high cardinality.
Abstract（参考訳）: オフポリシー評価(OPE)は、デプロイ前にターゲットポリシーの影響をオフラインに評価するために重要である。本稿は,OPEの文脈における政策学習のために設計された抽象概念について述べる。私たちの貢献は3倍です。 i) OPEの学習状態抽象化の中心となる無関係条件の集合を定義する。 (II) 観測されたMDPに基づいて, 時間反転マルコフ決定過程(MDP)を構築して得られたQ-関数の不適合性と限界値サンプリング比を実現するための十分な条件を導出する。 3) 原状態空間をより小さな空間に順次投影し, 高濃度から生じるOPEのサンプル複雑性を大幅に単純化する新しい2段階手順を提案する。

関連論文リスト

Abstract Reward Processes: Leveraging State Abstraction for Consistent Off-Policy Evaluation [20.663398371026194]
本稿では,広範囲な推定対象を含む非政治評価のためのフレームワークSTARを紹介する。実験により,STAR内の推定器が既存手法より優れていることを示す。最適なSTAR推定器は, 調査対象12例すべてにおいて, ベースラインを上回った。
論文参考訳（メタデータ） (2024-10-03T03:19:43Z)
Rethinking State Disentanglement in Causal Reinforcement Learning [78.12976579620165]
因果性は、根底にある状態が識別可能性によって一意に回復できることを保証するための厳密な理論的支援を提供する。我々はこの研究ラインを再考し、RL固有のコンテキストを取り入れることで、潜在状態に対する以前の識別可能性分析における不要な仮定を低減できることを示した。本稿では, 従来手法の複雑な構造制約を, 遷移と報酬保存の2つの簡単な制約に置き換えることにより, 一般に部分的に観測可能なマルコフ決定過程(POMDP)を提案する。
論文参考訳（メタデータ） (2024-08-24T06:49:13Z)
PcLast: Discovering Plannable Continuous Latent States [24.78767380808056]
我々は、効率的な計画と目標条件付き政策学習のために、到達可能な状態を関連付ける表現を学習する。提案手法は各種シミュレーションテストベッドで厳密に検証されている。
論文参考訳（メタデータ） (2023-11-06T21:16:37Z)
Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
論文参考訳（メタデータ） (2023-10-24T01:00:01Z)
Hierarchical State Abstraction Based on Structural Information Principles [70.24495170921075]
本稿では、情報理論の観点から、新しい数学的構造情報原理に基づく状態抽象化フレームワーク、すなわちSISAを提案する。 SISAは、様々な表現学習目標と柔軟に統合され、パフォーマンスをさらに向上する一般的なフレームワークである。
論文参考訳（メタデータ） (2023-04-24T11:06:52Z)
Quantile Off-Policy Evaluation via Deep Conditional Generative Learning [21.448553360543478]
Off-Policy Evaluation (OPE) は、潜在的に異なる行動ポリシーによって生成されたオフラインデータを用いて、新しいターゲットポリシーを評価することに関心がある。本稿では、逐次決定における量子OPEの2倍のロス率推論手順を提案する。本提案手法の利点は,シミュレーションと,ショートビデオプラットフォームによる実世界のデータセットの両方を用いて示す。
論文参考訳（メタデータ） (2022-12-29T22:01:43Z)
Offline Reinforcement Learning with Instrumental Variables in Confounded Markov Decision Processes [93.61202366677526]
未測定の共同設立者を対象にオフライン強化学習(RL)について検討した。そこで本稿では, 最適クラスポリシーを見つけるための, 有限サンプルの準最適性を保証した多種多様なポリシー学習手法を提案する。
論文参考訳（メタデータ） (2022-09-18T22:03:55Z)
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes [65.91730154730905]
医療や教育などの観察データへのオフライン強化学習の適用においては、観察された行動は観測されていない要因に影響される可能性があるという一般的な懸念がある。ここでは、部分的に観察されたマルコフ決定過程(POMDP)における非政治評価を考慮し、この問題に取り組む。我々は、近位因果推論の枠組みをPOMDP設定に拡張し、識別が可能となる様々な設定を提供する。
論文参考訳（メタデータ） (2021-10-28T17:46:14Z)
Projected State-action Balancing Weights for Offline Reinforcement Learning [9.732863739456034]
本稿では,潜在的に異なるポリシから生成された事前収集データに基づいて,対象ポリシーの価値を推定することに焦点を当てる。政策値推定のための状態-作用バランスウェイトを概算した新しい推定器を提案する。数値実験により提案した推定器の性能を実証した。
論文参考訳（メタデータ） (2021-09-10T03:00:44Z)
Enforcing Almost-Sure Reachability in POMDPs [10.883864654718103]
部分観測可能なマルコフ決定プロセス(POMDP)は、限られた情報の下での逐次決定のためのよく知られたモデルである。我々は、悪い状態にたどり着くことなく、ほぼ確実に目標状態に達するような、EXPTIMEの難題を考察する。 SATに基づく新しい反復手法と,決定図に基づく代替手法の2つのアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-30T19:59:46Z)
Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning [70.01650994156797]
教育医療などのバッチ強化学習において、観察データからのシーケンシャルな意思決定方針のオフ・アセスメントが必要である。我々は、ある政策の境界を推定するアプローチを開発する。より凝縮したデータを集めることで、シャープな境界への収束を証明します。
論文参考訳（メタデータ） (2020-02-11T16:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。