論文の概要: Learning in Markov Decision Processes with Exogenous Dynamics
- arxiv url: http://arxiv.org/abs/2603.02862v1
- Date: Tue, 03 Mar 2026 11:10:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 21:38:10.760837
- Title: Learning in Markov Decision Processes with Exogenous Dynamics
- Title（参考訳）: 外因性ダイナミクスを用いたマルコフ決定過程の学習
- Abstract要約: エージェントの動作に依存しない状態成分を特徴とするMDPの構造クラスについて検討する。
この構造を利用すると、学習の保証が大幅に向上することを示す。
私たちは、古典的なおもちゃの設定や現実世界に触発された環境にまたがって、私たちのアプローチを実証的に検証します。
- 参考スコア（独自算出の注目度）: 39.6376520918509
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning algorithms are typically designed for generic Markov Decision Processes (MDPs), where any state-action pair can lead to an arbitrary transition distribution. In many practical systems, however, only a subset of the state variables is directly influenced by the agent's actions, while the remaining components evolve according to exogenous dynamics and account for most of the stochasticity. In this work, we study a structured class of MDPs characterized by exogenous state components whose transitions are independent of the agent's actions. We show that exploiting this structure yields significantly improved learning guarantees, with only the size of the exogenous state space appearing in the leading terms of the regret bounds. We further establish a matching lower bound, showing that this dependence is information-theoretically optimal. Finally, we empirically validate our approach across classical toy settings and real-world-inspired environments, demonstrating substantial gains in sample efficiency compared to standard reinforcement learning methods.
- Abstract（参考訳）: 強化学習アルゴリズムは一般に、任意の状態-作用対が任意の遷移分布につながるような一般的なマルコフ決定過程(MDP)のために設計されている。
しかし、多くの実用的なシステムでは、状態変数のサブセットのみがエージェントの行動に直接的な影響を受けており、残りのコンポーネントは外因性ダイナミクスに従って進化し、確率性の大半を占める。
本研究では, エージェントの作用に依存しない外因性状態成分を特徴とするMDPの構造クラスについて検討する。
この構造を活用すれば学習の保証が大幅に向上し、後悔境界の先頭に現れる外因性状態空間のサイズのみとなることが示される。
さらに、一致した下界を確立し、この依存が情報理論的に最適であることを示す。
最後に,古典的な玩具設定や実世界の環境に対するアプローチを実証的に検証し,標準的な強化学習法と比較してサンプル効率が著しく向上したことを示す。
関連論文リスト
- Groupoid-Based Internal State Representations for Reinforcement Learning with Local Symmetries [1.1470070927586018]
本稿では,局所的かつ状態依存的な対称性を捕捉し,同値構造のダイナミック発見を支援するために,グルーコイドを用いた強化学習フレームワークを提案する。
実験により,提案手法は高密度および大規模環境における試料効率と収束性を向上し,強い部分対称性を示すことを示す。
論文 参考訳（メタデータ） (2026-09-11T16:32:58Z) - A Mechanism-Driven Theory of Phase Transitions in Active Learning [3.5819392925290043]
アクティブラーニング(AL)のパフォーマンスは予算依存であることが知られているが、レシエーションはデータセットやアーキテクチャ全体にわたって一般化できない。
我々は、予算制度を支配的一般化機構のシフトとみなすことにより、ALダイナミクスを特徴づける。
この作業は、次世代のトランジション対応ALアルゴリズムのための統一されたフレームワークを提供する。
論文 参考訳（メタデータ） (2026-06-30T20:20:33Z) - Flowing With Purpose: Latent Action Guided Flow Matching Policies For Robotic Manipulation [41.66477383019748]
最先端のフローマッチングポリシーは、グローバルに固定された等方性ソース分布に依存している。
Latent Action Guided Flow Matchingは、モノリシックガウスを学習済みの事前分布の適応ライブラリに置き換える。
LAFMは標準フローマッチングの定式化を大幅に上回る。
論文 参考訳（メタデータ） (2026-06-22T14:42:59Z) - Anticipatory Reinforcement Learning: From Generative Path-Laws to Distributional Value Functions [0.0]
本稿では,非マルコフ決定プロセスと古典的強化学習アーキテクチャのギャップを埋める新しいフレームワークである予測強化学習(ARL)を紹介する。
ジャンプ拡散と構造破壊によって特徴づけられる環境では、伝統的な状態に基づく手法は、正確なフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホ
論文 参考訳（メタデータ） (2026-04-06T13:15:44Z) - Sample Complexity of Distributionally Robust Off-Dynamics Reinforcement Learning with Online Interaction [11.339580074756187]
強靭なマルコフ決定過程(RMDP)における学習として、オフダイナミックス強化学習(RL)を定式化することができる。
我々は、エージェントがトレーニング環境とのオンラインインタラクションに制限される、より現実的で困難な環境について研究する。
論文 参考訳（メタデータ） (2025-11-07T16:24:22Z) - Unified modality separation: A vision-language framework for unsupervised domain adaptation [60.8391821117794]
教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインでトレーニングされたモデルが新しいラベル付きドメインを扱うことを可能にする。
本稿では,モダリティ固有成分とモダリティ不変成分の両方に対応可能な統一モダリティ分離フレームワークを提案する。
提案手法は,9倍の計算効率で最大9%の性能向上を実現している。
論文 参考訳（メタデータ） (2025-08-07T02:51:10Z) - Structured Agent Distillation for Large Language Model [56.38279355868093]
本研究では,LLMをベースとした大規模エージェントを小さな学生モデルに圧縮するフレームワークであるStructured Agent Distillationを提案する。
提案手法は, [REASON] と [ACT] にトラジェクトリを分割し, 各コンポーネントを教師の行動に合わせるためにセグメント特異的な損失を適用した。
ALFWorld、HotPotQA-ReAct、WebShopの実験は、我々のアプローチがトークンレベルと模倣学習のベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-05-20T02:01:55Z) - FlickerFusion: Intra-trajectory Domain Generalizing Multi-Agent RL [19.236153474365747]
既存のMARLアプローチは、トレーニングと推論の間に実体の数が一定であるという制限的な仮定に依存することが多い。
本稿では、ゼロショット・アウト・オブ・ドメイン(OOD)一般化の下での軌道内動的実体合成の課題に取り組む。
本稿では,MARLのバックボーン法に普遍的に適用可能な拡張手法として機能する新しいOOD一般化手法であるFlickerFusionを提案する。
論文 参考訳（メタデータ） (2024-10-21T10:57:45Z) - STAT: Towards Generalizable Temporal Action Localization [56.634561073746056]
WTAL(Wakly-supervised temporal action Localization)は、ビデオレベルのラベルだけでアクションインスタンスを認識およびローカライズすることを目的としている。
既存の手法は、異なる分布に転送する際の重大な性能劣化に悩まされる。
本稿では,アクションローカライズ手法の一般化性向上に焦点を当てたGTALを提案する。
論文 参考訳（メタデータ） (2024-04-20T07:56:21Z) - Hierarchical Decision Making Based on Structural Information Principles [19.82391136775341]
本稿では,階層的意思決定のための構造情報原則に基づく新しいフレームワーク,すなわちSIDMを提案する。
本稿では,過去の状態-行動軌跡を処理し,状態と行動の抽象表現を構築する抽象化機構を提案する。
単エージェントシナリオのためのスキルベース学習手法と,多エージェントシナリオのためのロールベースの協調手法を開発し,そのどちらも,パフォーマンス向上のために様々な基礎アルゴリズムを柔軟に統合することができる。
論文 参考訳（メタデータ） (2024-04-15T13:02:00Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-17T00:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。