論文の概要: A Unified Algorithmic Framework for Hybrid Reinforcement Learning in Tabular MDPs with Shifted Transition Dynamics
- arxiv url: http://arxiv.org/abs/2607.25207v1
- Date: Tue, 28 Jul 2026 02:27:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.681139
- Title: A Unified Algorithmic Framework for Hybrid Reinforcement Learning in Tabular MDPs with Shifted Transition Dynamics
- Title（参考訳）: シフト遷移ダイナミクスを持つタブラルMDPにおけるハイブリッド強化学習のための統一的アルゴリズムフレームワーク
- Abstract要約: 本稿では,後悔最小化のためのMIN-UCB-VIと,最良のポリシー識別のためのMAX-LCB-VIの2つのアルゴリズムを特徴とする統一的なアルゴリズムフレームワークを提案する。
我々は、後悔と準最適ギャップに関する、インスタンス依存と独立の上限の両方を含む、我々のフレームワークに対する理論的保証を提供する。
- 参考スコア（独自算出の注目度）: 36.92549343895364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates a hybrid reinforcement learning setting in tabular Markov Decision Processes (MDPs), where an agent aims to learn an optimal policy by combining online interactions with a target environment and offline data from a source environment. A central challenge is that offline data may be collected from outdated environments with shifted transition dynamics, making naive integration of historical data ineffective. To address this, we propose a unified algorithmic framework featuring two algorithms: MIN-UCB-VI for regret minimization and MAX-LCB-VI for best policy identification. Both algorithms leverage fine-grained bias information to more effectively exploit offline data under general transition shifts. We provide theoretical guarantees for our framework, including both instance-dependent and independent upper bounds on regret and sub-optimality gap. Furthermore, we establish matching lower bounds to demonstrate the optimality of our approach and validate our theoretical findings through extensive experiments.
- Abstract（参考訳）: 本稿では,ターゲット環境とのオンラインインタラクションとソース環境からのオフラインデータを組み合わせることで,エージェントが最適ポリシーを学習することを目的とした表型マルコフ決定プロセス(MDP)のハイブリッド強化学習環境について検討する。
中心的な課題は、移行ダイナミクスをシフトさせた時代遅れの環境からオフラインデータを収集することで、過去のデータの自然な統合が効果的でないことだ。
そこで本研究では,後悔最小化のためのMIN-UCB-VIと,ポリシー識別のためのMAX-LCB-VIの2つのアルゴリズムを組み合わせた統合アルゴリズムフレームワークを提案する。
両方のアルゴリズムは、より詳細なバイアス情報を利用して、一般的な遷移シフトの下でオフラインデータをより効果的に活用する。
我々は、後悔と準最適ギャップに関する、インスタンス依存と独立の上限の両方を含む、我々のフレームワークに対する理論的保証を提供する。
さらに,提案手法の最適性を示すために,一致した下界を確立し,広範囲な実験を通じて理論的な知見を検証した。
関連論文リスト
- Joint Optimization of Training and Inference in Federated Edge Learning via Constrained Multi-Objective Deep Reinforcement Learning [9.37821062000313]
エッジインテリジェンス(EI)を実現するための有望なパラダイムとしてFederated Edge Learning(FEEL)が登場した。
リソース制約のあるエッジデバイス上でのフェデレーショントレーニングと推論を共同で管理する,オンライン最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-25T14:51:07Z) - ROAD: Adaptive Data Mixing for Offline-to-Online Reinforcement Learning via Bi-Level Optimization [19.46945184186446]
適応データ混合(ROAD)を最適化した強化学習を提案する。
ROADはデータ再生プロセスを自動化する動的プラグイン・アンド・プレイフレームワークである。
我々の経験的結果は、このアプローチが様々なデータセットで既存のデータ再生方法より一貫して優れていることを示している。
論文 参考訳（メタデータ） (2026-05-14T07:35:58Z) - Learning Optimal and Sample-Efficient Decision Policies with Guarantees [3.096615629099617]
この論文は、隠れた共同創設者の存在下で、オフラインデータセットから学ぶことの問題を解決する。
コンバージェンスと最適性を保証する条件付きモーメント制約問題の解法として,サンプル効率のアルゴリズムを導出する。
また,収束率保証を伴う効果的な模倣者ポリシーを学習するアルゴリズムも開発している。
論文 参考訳（メタデータ） (2026-02-20T04:24:49Z) - Locally Private Nonparametric Contextual Multi-armed Bandits [10.579415536953132]
ローカルディファレンシャルプライバシ(LDP)の下での非パラメトリックコンテキスト多重武装バンディット(MAB)の課題に対処する。
一致したミニマックス下界で支持されるミニマックス最適性を示す一様信頼束縛型推定器を開発した。
論文 参考訳（メタデータ） (2025-03-11T07:00:57Z) - Offline Learning for Combinatorial Multi-armed Bandits [56.96242764723241]
Off-CMABはCMABの最初のオフライン学習フレームワークである。
Off-CMABは悲観的な報酬推定と解法を組み合わせる。
合成および実世界のデータセットの実験は、CLCBの優れた性能を強調している。
論文 参考訳（メタデータ） (2025-01-31T16:56:18Z) - Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques [65.55451717632317]
PbMARL(Preference-based Multi-Agent Reinforcement Learning)について検討する。
一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ平衡を同定する。
以上の結果から,PbMARLの多面的アプローチが示唆された。
論文 参考訳（メタデータ） (2024-09-01T13:14:41Z) - Coordination Failure in Cooperative Offline MARL [3.623224034411137]
オフラインデータを用いた多エージェント政策勾配における協調的障害と協調行動の役割について検討する。
解析ツールとして2プレイヤーゲームを用いることで、BRUDアルゴリズムの単純な失敗モードを実演する。
本稿では,共同動作の類似性に基づくデータセットからのサンプルの優先順位付けにより,そのような障害を緩和する手法を提案する。
論文 参考訳（メタデータ） (2024-07-01T14:51:29Z) - Preference Elicitation for Offline Reinforcement Learning [59.136381500967744]
オフラインの嗜好に基づく強化学習アルゴリズムであるSim-OPRLを提案する。
本アルゴリズムは,配当外データに対する悲観的アプローチと,最適方針に関する情報的嗜好を得るための楽観的アプローチを用いる。
論文 参考訳（メタデータ） (2024-06-26T15:59:13Z) - A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。
2つのよく知られた実世界のアプリケーションでその効果を実証する。
論文 参考訳（メタデータ） (2024-06-14T15:59:36Z) - Federated Offline Reinforcement Learning [55.326673977320574]
マルチサイトマルコフ決定プロセスモデルを提案する。
我々は,オフラインRLを対象とした最初のフェデレーション最適化アルゴリズムを設計する。
提案アルゴリズムでは,学習ポリシーの準最適性は,データが分散していないような速度に匹敵する,理論的保証を与える。
論文 参考訳（メタデータ） (2022-06-11T18:03:26Z) - A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。
フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。
D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
論文 参考訳（メタデータ） (2022-02-19T20:22:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。