論文の概要: Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions

• arxiv url: http://arxiv.org/abs/2607.25241v1
• Date: Tue, 28 Jul 2026 03:32:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.69563
• Title: Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions
• Title（参考訳）: 見えないものから学ぶ:隠れた行動によるオフライン強化学習
• Abstract要約: オフライン強化学習アルゴリズムは、通常、データセットのアクションがエラーなく観察されると仮定する。 多くの実世界のアプリケーションでは、真のアクションは観測されず、ノイズの多いプロキシのみが利用可能である。 本研究では,無限水平割引決定過程における非政治的評価について検討した。
• 参考スコア（独自算出の注目度）: 20.30528891217533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard offline reinforcement learning (RL) algorithms typically assume that the actions in the dataset are observed without error. However, in many real-world applications, the true actions are unobserved and only noisy proxies are available, causing existing RL methods to yield biased and potentially misleading conclusions. We study off-policy evaluation in infinite-horizon discounted Markov decision processes with hidden actions. By leveraging the next-state variable as a natural proxy for the unobserved action, we establish identification of the policy value and propose an influence-function-based estimator called LURE (Learning from the Unseen: Robust Estimator). LURE is multiply robust, remaining consistent under several combinations of correctly specified nuisance components, and is asymptotically normal, enabling valid statistical inference. To our knowledge, this is the first work to address offline RL with hidden actions. We demonstrate LURE's effectiveness through simulations and a sepsis management application using the MIMIC-III database.
• Abstract（参考訳）: 標準オフライン強化学習(RL)アルゴリズムは通常、データセットのアクションがエラーなく観察されると仮定する。 しかし、多くの実世界の応用において、真の作用は観測されず、ノイズの多いプロキシのみが利用可能であり、既存のRL法は偏りがあり、誤解を招く可能性のある結論をもたらす。 本研究では,無限水平割引マルコフ決定過程における非政治的評価について検討した。 次状態変数を、観測されていない動作の自然なプロキシとして活用することにより、ポリシー値の識別を確立し、LURE (Learning from the Unseen: Robust Estimator) と呼ばれる影響関数に基づく推定器を提案する。 LUREは多重頑健であり、正確に指定されたニュアンス成分のいくつかの組み合わせの下で一貫しており、漸近的に正規であり、有効な統計的推測を可能にする。 私たちの知る限り、これはオフラインのRLに隠れアクションで対処する最初の作業です。 LUREの有効性をシミュレーションとMIMIC-IIIデータベースを用いたセシス管理アプリケーションを用いて実証する。

関連論文リスト

• Causal Flow Q-Learning for Robust Offline Reinforcement Learning [53.63254824501714]
  構築された実演から表現型フローマッチングポリシーを学習する実践的実装を提案する。 提案手法は,最先端のオフラインRL法よりも120%の成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-02T21:50:52Z)
• Membership Inference Attacks from Causal Principles [24.370456956570873]
  我々は、MIA評価を因果推論問題とし、記憶をトレーニングセットにデータポイントを含む因果効果として定義する。 非漸近的整合性保証付きマルチラン・ワンラン・ゼロラン体制の実用的推定器を提案する。
  論文  参考訳（メタデータ） (2026-02-02T21:17:28Z)
• Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting [40.80967570661867]
  言語モデルをポストトレーニングによって新しいタスクに適応することは、既存の能力を劣化させるリスクをもたらす。 教師付き微調整(SFT)と強化学習(RL)の2つの広く採用されているポストトレーニング手法の忘れパターンを比較した。 RLはSFTよりも忘れられがちだが、目標タスクのパフォーマンスは同等か高い。
  論文  参考訳（メタデータ） (2025-10-21T17:59:41Z)
• Reference-Specific Unlearning Metrics Can Hide the Truth: A Reality Check [60.77691669644931]
  本研究では,非学習モデルと参照モデル間の分布類似度を測定する新しい尺度であるFADE(Functional Alignment for Distributional Equivalence)を提案する。 FADEは出力分布全体の機能的アライメントをキャプチャし、真の未学習の原則的評価を提供する。 これらの知見は、現在の評価実践における根本的なギャップを明らかにし、FADEが真に効果的な未学習手法を開発し評価するための、より堅牢な基盤を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-14T20:50:30Z)
• Outcome-Based Online Reinforcement Learning: Algorithms and Fundamental Limits [58.63897489864948]
  結果に基づくフィードバックによる強化学習は、根本的な課題に直面します。 適切なアクションにクレジットを割り当てるには? 本稿では,一般関数近似を用いたオンラインRLにおけるこの問題の包括的解析を行う。
  論文  参考訳（メタデータ） (2025-05-26T17:44:08Z)
• LLM Unlearning via Neural Activation Redirection [24.157334866277534]
  線形表現仮説に基づく新しいアンラーニング手法であるLUNARを提案する。 LUNARは最先端の未学習性能と制御性に優れることを示す。
  論文  参考訳（メタデータ） (2025-02-11T03:23:22Z)
• Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare [38.42691031505782]
  本稿では, 因子化作用空間によって誘導される線形Q-関数分解の形式を提案する。 我々の手法は、状態-作用空間の未探索領域内でエージェントがより正確な推論を行うのに役立つ。
  論文  参考訳（メタデータ） (2023-05-02T19:13:10Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• Exploiting Action Impact Regularity and Exogenous State Variables for Offline Reinforcement Learning [30.337391523928396]
  我々は,オフライン強化学習の保証を得るために,制限されたMDPのクラスを探究する。 本稿では,Action Impact Regularity(AIR)特性を利用するアルゴリズムについて論じ,Fitted-Q Iterationに基づくアルゴリズムの理論解析を行う。 このアルゴリズムは,シミュレーションおよび実環境において,異なるデータ収集ポリシー間で,既存のオフライン強化学習アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-15T20:14:18Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• A Distance-based Anomaly Detection Framework for Deep Reinforcement Learning [33.623558899286635]
  深層強化学習(RL)システムでは、異常な状態が予測不能な行動や安全でない行動を引き起こす可能性があり、重大なリスクを引き起こす。 深部RLアルゴリズムのための新しいMahalanobis distance-based anomaly detection framework, textitMDXを提案する。 MDXは、オフラインとオンラインの両方の設定において、ランダム、逆境、およびアウト・オブ・ディストリビューション(OOD)状態のアウトレイラに同時に対処する。
  論文  参考訳（メタデータ） (2021-09-21T00:09:03Z)
• Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning [63.53407136812255]
  オフライン強化学習は、探索を必要とせずに、事前に収集された静的データセットから効果的なポリシーを学ぶことを約束する。 既存のQラーニングとアクター批判に基づくオフポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(OOD)アクションや状態からのブートストラップ時に失敗する。 我々は,OOD状態-動作ペアを検出し,トレーニング目標への貢献度を下げるアルゴリズムであるUncertainty Weighted Actor-Critic (UWAC)を提案する。
  論文  参考訳（メタデータ） (2021-05-17T20:16:46Z)
• Strictly Batch Imitation Learning by Energy-based Distribution Matching [104.33286163090179]
  すなわち、強化信号へのアクセスがなく、遷移力学の知識がなく、環境とのさらなる相互作用もない。 1つの解決策は、既存のアルゴリズムをオフライン環境で動作させるために、見習いの学習に適合させることである。 しかし、このようなアプローチは、政治外の評価やオフラインモデルの推定に大きく依存しており、間接的で非効率である可能性がある。 優れたソリューションは、ポリシーを明示的にパラメータ化し、ロールアウトダイナミクスから暗黙的に学習し、完全にオフラインで運用できるべきだ、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T03:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。