論文の概要: Reinforcement Learning Under Runtime Confounding: Policy Learning and Off-Policy Evaluation
- arxiv url: http://arxiv.org/abs/2610.40056v1
- Date: Thu, 29 Oct 2026 13:47:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.512707
- Title: Reinforcement Learning Under Runtime Confounding: Policy Learning and Off-Policy Evaluation
- Title（参考訳）: 実行時制約下での強化学習:政策学習と非政策評価
- Abstract要約: 法的、倫理的、または論理的な懸念は、デプロイメント期間中に決定が収集されるのを防ぐ重要な変数を妨げる可能性がある。
ランタイム境界: ログされたデータは完全なオブザーバビリティを保持するが、デプロイメント時間にはランタイム共同設立者として知られる特定の変数に関する知識が欠けている。
我々は,実行時コンバウンディングの下でポリシー学習アルゴリズムを開発し,半パラメトリックで効率的なオフポリシー推定手法を開発し,実行時コンバウンディングの価格を理解するための診断手段を提供する。
- 参考スコア（独自算出の注目度）: 9.00519216240567
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) is increasingly used to train robust, adaptable systems across healthcare, e-commerce, and robotics. In these settings, legal, ethical, or logistical concerns may preclude certain key variables that drive decisions from being collected during deployment time. This gives rise to a setting known as runtime confounding: the logged data hold full observability, but deployment time lacks knowledge of certain variables, known as runtime confounders. Unlike single timepoint and non-adaptive settings, runtime confounding under reinforcement learning has the potential to propagate over time, as earlier decisions affect future states, observations, and action assignments, leading to biased learning. We address these problems with three contributions: we (1) develop policy learning algorithms under runtime-confounding, (2) develop semi-parametric efficient off-policy estimation procedures, and (3) provide diagnostics for understanding the price of runtime confounding.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、医療、電子商取引、ロボット工学の分野において、堅牢で適応可能なシステムのトレーニングにますます使用される。
これらの設定では、法的、倫理的、または論理的懸念により、デプロイメント期間中に決定が収集されるのを防ぐ重要な変数が妨げられる可能性がある。
ログされたデータは完全な可観測性を保持するが、デプロイメント時間にはランタイム共同設立者として知られる特定の変数の知識が欠けている。
単一のタイムポイントや非適応的な設定とは異なり、強化学習の下でのランタイムのコンバウンディングは、以前の決定が将来の状態、観察、アクションの割り当てに影響を与えるため、時間とともに伝播する可能性がある。
我々は,(1)実行時コンバウンディングの下でポリシー学習アルゴリズムを開発すること,(2)半パラメトリックで効率的なオフポリシー推定手法を開発すること,(3)実行時コンバウンディングの価格を理解するための診断を提供すること,の3つの貢献により,これらの課題に対処する。
関連論文リスト
- Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。
本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文 参考訳（メタデータ） (2026-05-12T16:44:47Z) - Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting [40.80967570661867]
言語モデルをポストトレーニングによって新しいタスクに適応することは、既存の能力を劣化させるリスクをもたらす。
教師付き微調整(SFT)と強化学習(RL)の2つの広く採用されているポストトレーニング手法の忘れパターンを比較した。
RLはSFTよりも忘れられがちだが、目標タスクのパフォーマンスは同等か高い。
論文 参考訳（メタデータ） (2025-10-21T17:59:41Z) - Curriculum Imitation Learning of Distributed Multi-Robot Policies [5.376095069606724]
マルチロボットシステムの学習制御ポリシは,長期的調整と現実的なトレーニングデータ取得の難しさから,大きな課題である。
そこで本研究では,訓練中の専門的軌跡の長さを徐々に増加させるカリキュラム戦略を提案する。
また,各ロボットの自我中心的知覚を,第三者によるグローバルなデモンストレーションのみを用いて近似する手法も導入した。
論文 参考訳（メタデータ） (2025-09-29T17:31:48Z) - Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。
これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。
事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。
既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。
我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-07T12:19:37Z) - Prediction and Control in Continual Reinforcement Learning [39.30411018922005]
時間差(TD)学習は、RLエージェントが有用なポリシーを抽出するために使用する値関数の見積を更新するためにしばしば使用される。
本稿では,値関数を異なる時間スケールで更新する2つのコンポーネントに分解する。
論文 参考訳（メタデータ） (2023-12-18T19:23:42Z) - Resilient Constrained Learning [94.27081585149836]
本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。
我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
論文 参考訳（メタデータ） (2023-06-04T18:14:18Z) - Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。
本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文 参考訳（メタデータ） (2022-06-05T08:49:16Z) - Inverse Contextual Bandits: Learning How Behavior Evolves over Time [89.59391124399927]
意思決定の解釈可能な表現を提供する政策学習へのアプローチを模索する。
まず,文脈的帯域幅の観点から学習エージェントの挙動をモデル化し,逆文脈的帯域幅(ICB)の問題の定式化を行う。
第2に,エージェントの学習戦略に関して,各エージェントが仮定の度合いを変える2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-07-13T18:24:18Z) - Deep Reinforcement Learning amidst Lifelong Non-Stationarity [67.24635298387624]
政治以外のRLアルゴリズムは、寿命の長い非定常性に対処できることを示す。
提案手法は潜在変数モデルを用いて,現在および過去の経験から環境表現を学習する。
また, 生涯の非定常性を示すシミュレーション環境もいくつか導入し, 環境変化を考慮しないアプローチを著しく上回っていることを実証的に確認した。
論文 参考訳（メタデータ） (2020-06-18T17:34:50Z) - Causality and Batch Reinforcement Learning: Complementary Approaches To
Planning In Unknown Domains [3.473038099935777]
因果推論における非政治的評価と治療効果の評価が,同じ問題に対する2つのアプローチであることを示す。
本稿では, 因果推論における非政治的評価と治療効果の評価が, 同じ問題に対する2つのアプローチであることを示す。
論文 参考訳（メタデータ） (2020-06-03T23:14:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。