論文の概要: Confounding Robust Deep Reinforcement Learning: A Causal Approach

• arxiv url: http://arxiv.org/abs/2510.21110v1
• Date: Fri, 24 Oct 2025 02:58:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.365389
• Title: Confounding Robust Deep Reinforcement Learning: A Causal Approach
• Title（参考訳）: 頑健な深層強化学習の確立--因果的アプローチ
• Authors: Mingxuan Li, Junzhe Zhang, Elias Bareinboim,
• Abstract要約: 本稿では,DQN(Deep Q-Network)に基づいて,観測データのバイアスの解消に頑健な新しい強化学習アルゴリズムを提案する。 提案手法は,12個のAtariゲームに対して適用され,観察された動作および目標ポリシーへの入力がミスマッチおよび観測されていない共同創設者が存在するすべてのゲームにおいて,標準DQNを一貫して支配していることがわかった。
• 参考スコア（独自算出の注目度）: 53.63254824501714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key task in Artificial Intelligence is learning effective policies for controlling agents in unknown environments to optimize performance measures. Off-policy learning methods, like Q-learning, allow learners to make optimal decisions based on past experiences. This paper studies off-policy learning from biased data in complex and high-dimensional domains where \emph{unobserved confounding} cannot be ruled out a priori. Building on the well-celebrated Deep Q-Network (DQN), we propose a novel deep reinforcement learning algorithm robust to confounding biases in observed data. Specifically, our algorithm attempts to find a safe policy for the worst-case environment compatible with the observations. We apply our method to twelve confounded Atari games, and find that it consistently dominates the standard DQN in all games where the observed input to the behavioral and target policies mismatch and unobserved confounders exist.
• Abstract（参考訳）: 人工知能の重要な課題は、未知の環境でエージェントを制御するための効果的なポリシーを学習し、パフォーマンス対策を最適化することである。 Qラーニングのような非政治的な学習手法は、学習者が過去の経験に基づいて最適な意思決定をすることができる。 本稿では,<emph{unobserved confounding</e>を事前定義できない複雑・高次元領域における偏りのあるデータからの非政治学習について検討する。 本稿では,DQN(Deep Q-Network)に基づいて,観測データのバイアスの解消に頑健な新しい強化学習アルゴリズムを提案する。 具体的には,我々のアルゴリズムは,観測結果と互換性のある最悪の環境に対する安全なポリシーを見つけ出そうとする。 提案手法は,12個のAtariゲームに対して適用され,観察された動作および目標ポリシーへの入力がミスマッチおよび観測されていない共同創設者が存在するすべてのゲームにおいて,標準DQNを一貫して支配していることがわかった。

関連論文リスト

• Automatic Reward Shaping from Confounded Offline Data [53.63254824501714]
  本稿では,DQN(Deep Q-Network)に基づいて,観測データのバイアスの解消に頑健な新しい強化学習アルゴリズムを提案する。 提案手法は,12個のAtariゲームに対して適用され,観察された動作および目標ポリシーへの入力がミスマッチおよび観測されていない共同創設者が存在するすべてのゲームにおいて,標準DQNを一貫して支配していることがわかった。
  論文  参考訳（メタデータ） (2025-05-16T17:40:01Z)
• Probabilistic Curriculum Learning for Goal-Based Reinforcement Learning [2.5352713493505785]
  報酬信号の最大化によって、人工エージェントに環境との対話を教えるアルゴリズムである強化学習は、近年大きな成功を収めている。 有望な研究の方向性の1つは、一般に階層的またはカリキュラム強化学習を通じて、マルチモーダルポリシーを許容するための目標の導入である。 本稿では,継続的制御およびナビゲーションタスクにおける強化学習エージェントの目標を提案するための,確率論的カリキュラム学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-02T08:15:16Z)
• No Regrets: Investigating and Improving Regret Approximations for Curriculum Discovery [53.08822154199948]
  非教師なし環境設計(UED)手法は、エージェントがイン・オブ・アウト・ディストリビューションタスクに対して堅牢になることを約束する適応的カリキュラムとして近年注目を集めている。 本研究は,既存のUEDメソッドがいかにトレーニング環境を選択するかを検討する。 本研究では,学習性の高いシナリオを直接訓練する手法を開発した。
  論文  参考訳（メタデータ） (2024-08-27T14:31:54Z)
• IQ-Learn: Inverse soft-Q Learning for Imitation [95.06031307730245]
  少数の専門家データからの模倣学習は、複雑な力学を持つ高次元環境では困難である。 行動クローニングは、実装の単純さと安定した収束性のために広く使われている単純な方法である。 本稿では,1つのQ-関数を学習することで,対向学習を回避する動的適応型ILを提案する。
  論文  参考訳（メタデータ） (2021-06-23T03:43:10Z)
• ConQUR: Mitigating Delusional Bias in Deep Q-learning [45.21332566843924]
  妄想バイアスは、近似Q-ラーニングにおける基本的なエラー源である。 我々は,根底にある欲求政策クラスと「一致」したラベルを持つQ近似器を訓練することで,妄想バイアスを緩和する効率的な方法を開発した。
  論文  参考訳（メタデータ） (2020-02-27T19:22:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。