論文の概要: Transportable Offline Reinforcement Learning in Presence of Unmeasured Confounding
- arxiv url: http://arxiv.org/abs/2610.38253v1
- Date: Wed, 28 Oct 2026 04:07:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.370255
- Title: Transportable Offline Reinforcement Learning in Presence of Unmeasured Confounding
- Title（参考訳）: 計測不能条件下での移動型オフライン強化学習
- Abstract要約: ドメイン不一致と非計測的共起の課題の下で,オフライン政策学習について検討する。
本研究では,輸送可能性理論を機器変数,負の制御,プロキシと組み合わせ,対象領域の因果量を特定する因果的に調整した輸送可能性フレームワークを開発した。
我々は,この枠組みを,目標報酬と遷移メカニズムを相補的情報源が識別するマルコフ決定過程に拡張する。
- 参考スコア（独自算出の注目度）: 45.88028371034407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Offline reinforcement learning seeks to learn decision policies from previously collected data, but deployment environments may differ from the domains in which the data were collected, and logged variables may omit confounders that affected both historical actions and outcomes. We study offline policy learning under the joint challenges of domain discrepancy and unmeasured confounding, where multiple heterogeneous source datasets provide complementary information about a target domain. We develop a causally adjusted transportability framework combining transportability theory with instrumental variables, negative controls, and proxies to identify target-domain causal quantities. For confounded contextual bandits, identification reduces to systems of bridge-function integral equations, enabling minimax estimation from finite samples. Confidence sets for the identified quantities are then used for pessimistic policy optimization, yielding CAT-CCB. We extend the framework to episodic confounded Markov decision processes, where complementary sources identify target reward and transition mechanisms under structural and completeness conditions. Under Gaussian dynamics and linear function approximation, this yields CAT-CMDP. We establish high-probability finite-sample suboptimality guarantees that quantify the effects of approximation, estimation, source-to-target shift, offline coverage, and sample size. For bounded finite-dimensional linear classes, the contextual-bandit guarantee recovers the standard $\widetilde{\mathcal O}(N^{-1/2})$ rate. Numerical experiments support the effectiveness of the framework for learning target-domain policies from heterogeneous confounded data. Together, the results provide a principled approach when no single source dataset suffices for causal identification and policy optimization.
- Abstract（参考訳）: オフライン強化学習は、以前収集されたデータから決定ポリシーを学習しようとするが、展開環境は、データが収集されたドメインと異なる場合がある。
複数の異種ソースデータセットが対象ドメインについて相補的な情報を提供する場合、ドメインの不一致と未測定の共生という共同課題の下で、オフラインポリシー学習について検討する。
本研究では,輸送可能性理論を機器変数,負の制御,プロキシと組み合わせて,対象領域の因果量を特定する因果調整型輸送可能性フレームワークを開発した。
確立された文脈的包帯の場合、識別はブリッジ関数積分方程式の系に還元され、有限標本からの最小推定が可能となる。
識別された量に対する信頼セットは悲観的なポリシー最適化に使用され、CAT-CCBが得られる。
我々は,この枠組みを,構造的・完全性条件下での目標報酬と遷移機構を相補的情報源が特定するマルコフ決定過程に拡張する。
ガウス力学と線形関数近似の下では、これは CAT-CMDP が得られる。
我々は、近似、推定、ソース・ツー・ターゲットシフト、オフラインカバレッジ、サンプルサイズの影響を定量化する高確率有限サンプル準最適保証を確立する。
有界有限次元線型類に対して、文脈帯域保証は標準の $\widetilde{\mathcal O}(N^{-1/2})$ rate を回復する。
シミュレーション実験は、不均一な整合データからターゲットドメインポリシーを学習するためのフレームワークの有効性を支持する。
結果として、単一のソースデータセットが因果同定とポリシー最適化に十分でない場合に、原則化されたアプローチが提供される。
関連論文リスト
- Minimax optimal adaptive structured transfer learning through semi-parametric domain-varying coefficient model [9.091986429838117]
本研究では,条件分布ドリフト下でのマルチソース単一ターゲット移動学習問題について検討する。
情報ソース領域からの強度を選択的に借用する適応的伝達学習推定器を開発した。
論文 参考訳（メタデータ） (2026-02-20T03:53:06Z) - Transfer Learning Through Conditional Quantile Matching [3.86972243789112]
我々は、異種ソースドメインを利用した回帰学習フレームワークを導入し、データスカースターゲットドメインにおける予測性能を改善する。
提案手法は,各ソース領域に対して個別に条件生成モデルを学習し,条件量子マッチングにより対象ドメインに対する応答を校正する。
論文 参考訳（メタデータ） (2026-02-02T17:19:55Z) - Heterogeneous Multisource Transfer Learning via Model Averaging for Positive-Unlabeled Data [2.030810815519794]
本研究では,異種データソースからの情報を直接データ共有なしで統合するトランスファー学習フレームワークを提案する。
各ソースドメインタイプに対して、調整されたロジスティック回帰モデルを実行し、平均化によって知識をPUターゲットドメインに転送する。
提案手法は,特にラベル付きデータや異種環境において,予測精度とロバスト性において,他の比較手法よりも優れる。
論文 参考訳（メタデータ） (2025-11-14T03:15:31Z) - Pessimistic Causal Reinforcement Learning with Mediators for Confounded Offline Data [17.991833729722288]
我々は新しいポリシー学習アルゴリズム PESsimistic CAusal Learning (PESCAL) を提案する。
我々のキーとなる観察は、システム力学における作用の効果を媒介する補助変数を組み込むことで、Q-関数の代わりに媒介物分布関数の下位境界を学習することは十分であるということである。
提案するアルゴリズムの理論的保証とシミュレーションによる有効性の実証、および主要な配車プラットフォームからのオフラインデータセットを利用した実世界の実験を提供する。
論文 参考訳（メタデータ） (2024-03-18T14:51:19Z) - Bi-Level Offline Policy Optimization with Limited Exploration [1.8130068086063336]
我々は、固定された事前コンパイルされたデータセットに基づいて良いポリシーを学習しようとするオフライン強化学習(RL)について研究する。
ポリシー(上層)と値関数(下層)の階層的相互作用をモデル化する2レベル構造化ポリシー最適化アルゴリズムを提案する。
我々は、オフラインRLのための合成、ベンチマーク、実世界のデータセットを混合して評価し、最先端の手法と競合することを示す。
論文 参考訳（メタデータ） (2023-10-10T02:45:50Z) - Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。
我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。
我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
論文 参考訳（メタデータ） (2023-05-24T07:11:26Z) - Offline Reinforcement Learning with Instrumental Variables in Confounded
Markov Decision Processes [93.61202366677526]
未測定の共同設立者を対象にオフライン強化学習(RL)について検討した。
そこで本稿では, 最適クラスポリシーを見つけるための, 有限サンプルの準最適性を保証した多種多様なポリシー学習手法を提案する。
論文 参考訳（メタデータ） (2022-09-18T22:03:55Z) - Reinforcement Learning with Heterogeneous Data: Estimation and Inference [84.72174994749305]
人口の不均一性に関する逐次的決定問題に対処するために,K-ヘテロ・マルコフ決定過程(K-ヘテロ・MDP)を導入する。
本稿では、ある政策の価値を推定するための自己クラスタ化政策評価(ACPE)と、ある政策クラスにおける最適な政策を推定するための自己クラスタ化政策イテレーション(ACPI)を提案する。
理論的な知見を裏付けるシミュレーションを行い,MIMIC-III標準データセットの実証的研究を行った。
論文 参考訳（メタデータ） (2022-01-31T20:58:47Z) - False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。
SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文 参考訳（メタデータ） (2021-10-24T15:34:03Z) - GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。
我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。
結果として得られるアルゴリズム、GenDICEは単純で効果的である。
論文 参考訳（メタデータ） (2020-02-21T00:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。