論文の概要: A Lecture Note on Offline RL and IRL, Part II: Foundations of Inverse Reinforcement Learning and Dynamic Discrete Choice Models
- arxiv url: http://arxiv.org/abs/2605.30843v1
- Date: Fri, 29 May 2026 05:02:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.39443
- Title: A Lecture Note on Offline RL and IRL, Part II: Foundations of Inverse Reinforcement Learning and Dynamic Discrete Choice Models
- Title（参考訳）: オフラインRLとIRLに関する講義ノート(その2):逆強化学習の基礎と動的離散選択モデル
- Abstract要約: 本研究では、動的離散選択(DDC)を研究する2つのコミュニティと、エントロピー規則化IRLを研究する機械学習者が、異なる名前で全く同じ確率モデルに取り組んでいることを示す。
我々はMagnacとThesmarの古典的識別結果とそこから発展した古典的計算パラダイムを開発した。
次に、現代のML/IRLストランド(対逆IRL、占有マッチング、IQ-Learn、オフラインML-IRL)を探索し、各メソッドの実際の目的を導出し、それが何をし、何をしていないかを正確に記述する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the forward reinforcement-learning problem, the reward is fixed and known; the learner is asked to find a good policy or value function. Here we turn the question around. Given offline data generated by an expert, can we recover the reward the expert was optimizing? This is the inverse reinforcement learning problem, and remarkably, two communities, structural econometricians studying dynamic discrete choice (DDC) and machine learners studying entropy-regularized IRL, have been working on exactly the same probabilistic model under different names. We begin by proving their equivalence. We then develop the classical identification result of Magnac and Thesmar and the classical computational paradigms that grew out of it: Rust's nested fixed-point algorithm, the conditional-choice-probability approach of Hotz and Miller, and the two temporal-difference approaches of Adusumilli and Eckardt: linear semi-gradient TD and approximate value iteration. Each route has its limits: dimensionality, transition-kernel estimation, the deadly triad, or projected fixed-point bias. We then walk through the modern ML/IRL strand: adversarial IRL, occupancy matching, IQ-Learn, and offline ML-IRL, deriving each method's actual objective and stating precisely what it does and does not identify. We close with the empirical-risk-minimization framework of Kang et al., which yields a gradient-based estimator for offline IRL/DDC.
- Abstract（参考訳）: フォワード強化学習問題では、報酬が固定され、学習者が良い方針や価値関数を見つけるように要求される。
ここでは質問を振り返る。
専門家が生成したオフラインデータを考えると、専門家が最適化した報酬を取り戻せるだろうか?
これは逆強化学習の問題であり、驚くほど、動的離散選択(DDC)を研究する構造経済学者とエントロピー規則化IRLを研究する機械学習者の2つのコミュニティは、異なる名前で全く同じ確率モデルに取り組んでいる。
私たちは彼らの同値性を証明することから始めます。
次に、Magnac と Thesmar の古典的同定結果と、それから生まれた古典的計算パラダイム、すなわち、Rust の入れ子付き固定点アルゴリズム、Hotz と Miller の条件選択確率アプローチ、およびAdusumilli と Eckardt の時間差アプローチである線形半勾配 TD と近似値反復である。
それぞれの経路には、次元性、遷移カーネルの推定、致命的なトリアード、または投影された固定点バイアスという限界がある。
次に、現代のML/IRLストランド(対逆IRL、占有マッチング、IQ-Learn、オフラインML-IRL)を探索し、各メソッドの実際の目的を導出し、それが何をし、何をしていないかを正確に記述する。
我々はKang et al の実証リスク最小化フレームワークに近づき、オフラインIRL/DDCの勾配に基づく推定を行う。
関連論文リスト
- Non-Adversarial Inverse Reinforcement Learning via Successor Feature Matching [23.600285251963395]
逆強化学習(IRL)では、エージェントは環境との相互作用を通じて専門家のデモンストレーションを再現しようとする。
伝統的にIRLは、敵が報酬モデルを探し出し、学習者が繰り返しRL手順で報酬を最適化する対戦ゲームとして扱われる。
直接ポリシー最適化によるIRLに対する新しいアプローチを提案し、リターンの線形因数分解を後継特徴の内積および報酬ベクトルとして活用する。
論文 参考訳（メタデータ） (2024-11-11T14:05:50Z) - In-Trajectory Inverse Reinforcement Learning: Learn Incrementally Before An Ongoing Trajectory Terminates [10.438810967483438]
逆強化学習(IRL)は報酬関数とそれに対応するポリシーを学習することを目的としている。
現在のIRLの作業は、学習するために少なくとも1つの完全な軌跡を集めるのを待つ必要があるため、進行中の軌跡から漸進的に学習することはできない。
本稿では,現在進行中の軌跡の初期状態対を観察しながら,報酬関数と対応する政策を学習する問題について考察する。
論文 参考訳（メタデータ） (2024-10-21T03:16:32Z) - How does Inverse RL Scale to Large State Spaces? A Provably Efficient Approach [23.61332577985059]
Inverse Reinforcement Learning (IRL)は、報酬関数の推定を改善するためにサンプルを使用する。
文献で利用可能なアルゴリズムはいずれも大きな状態空間の問題にスケールできないことを示す。
本稿では, 実現可能な集合の概念を一般化する, 報酬相反の新たな枠組みを紹介する。
論文 参考訳（メタデータ） (2024-06-06T07:37:42Z) - The High Line: Exact Risk and Learning Rate Curves of Stochastic Adaptive Learning Rate Algorithms [8.681909776958184]
本研究では,高次元最適化問題の大規模なクラスにおいて,学習速度と学習速度のダイナミクスを解析するためのフレームワークを開発する。
我々は、ODEのシステムに対する決定論的解という観点から、リスクと学習率曲線の正確な表現を与える。
最小二乗問題に対する最適正則線探索とAdaGrad-Normの2つの適応学習率について詳細に検討する。
論文 参考訳（メタデータ） (2024-05-30T00:27:52Z) - Is Inverse Reinforcement Learning Harder than Standard Reinforcement
Learning? A Theoretical Perspective [55.36819597141271]
逆強化学習(IRL: Inverse Reinforcement Learning)は、インテリジェントシステム開発において重要な役割を担う。
本稿では、サンプルとランタイムを用いて、バニラのオフラインおよびオンライン設定における効率的なIRLの最初のラインを提供する。
応用として、学習した報酬は適切な保証で他のターゲットMDPに転送可能であることを示す。
論文 参考訳（メタデータ） (2023-11-29T00:09:01Z) - Action-Quantized Offline Reinforcement Learning for Robotic Skill
Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。
本稿では,アクション量子化のための適応型スキームを提案する。
IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-10-18T06:07:10Z) - Fighting Uncertainty with Gradients: Offline Reinforcement Learning via
Diffusion Score Matching [22.461036967440723]
我々は不確実性指標としてデータへのスムーズな距離について検討し、2つの有益な性質を持つと主張している。
スコアマッチング技術を用いて,これらの勾配を効率的に学習できることを示す。
本研究では,高次元問題における一階計画を実現するためのスコアガイドプランニング(SGP)を提案する。
論文 参考訳（メタデータ） (2023-06-24T23:40:58Z) - Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。
本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
論文 参考訳（メタデータ） (2023-04-17T20:59:49Z) - Extreme Q-Learning: MaxEnt RL without Entropy [88.97516083146371]
現代のDeep Reinforcement Learning (RL)アルゴリズムは、連続的な領域での計算が困難である最大Q値の推定を必要とする。
エクストリーム値理論(EVT)を用いた最大値を直接モデル化するオンラインおよびオフラインRLの新しい更新ルールを導入する。
EVTを使用することで、Extreme Q-Learningフレームワークをオンラインに導き、その結果、初めてオフラインのMaxEnt Q-learningアルゴリズムをオフラインにします。
論文 参考訳（メタデータ） (2023-01-05T23:14:38Z) - Provably Efficient Offline Reinforcement Learning with Trajectory-Wise
Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。
PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。
私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文 参考訳（メタデータ） (2022-06-13T19:11:22Z) - RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。
あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。
彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
論文 参考訳（メタデータ） (2021-12-20T18:55:16Z) - Online Apprenticeship Learning [58.45089581278177]
見習い学習(AL)では、コスト関数にアクセスせずにマルコフ決定プロセス(MDP)が与えられます。
目標は、事前に定義されたコスト関数のセットで専門家のパフォーマンスに一致するポリシーを見つけることです。
ミラー下降型ノンレグレットアルゴリズムを2つ組み合わせることで,OAL問題を効果的に解くことができることを示す。
論文 参考訳（メタデータ） (2021-02-13T12:57:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。