論文の概要: Learning a Fast Mixing Exogenous Block MDP using a Single Trajectory

• arxiv url: http://arxiv.org/abs/2410.03016v1
• Date: Thu, 3 Oct 2024 21:57:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 04:25:56.115379
• Title: Learning a Fast Mixing Exogenous Block MDP using a Single Trajectory
• Title（参考訳）: 単一軌道を用いた高速混合型外因性ブロックMDPの学習
• Authors: Alexander Levine, Peter Stone, Amy Zhang,
• Abstract要約: STEELは、単一軌道から外因性ブロックマルコフ決定過程の制御可能なダイナミクスを学習するための、最初の証明可能なサンプル効率アルゴリズムである。 我々は,STEELが正解であり,サンプル効率が良いことを証明し,STEELを2つの玩具問題で実証した。
• 参考スコア（独自算出の注目度）: 87.62730694973696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to train agents that can quickly adapt to new objectives or reward functions, efficient unsupervised representation learning in sequential decision-making environments can be important. Frameworks such as the Exogenous Block Markov Decision Process (Ex-BMDP) have been proposed to formalize this representation-learning problem (Efroni et al., 2022b). In the Ex-BMDP framework, the agent's high-dimensional observations of the environment have two latent factors: a controllable factor, which evolves deterministically within a small state space according to the agent's actions, and an exogenous factor, which represents time-correlated noise, and can be highly complex. The goal of the representation learning problem is to learn an encoder that maps from observations into the controllable latent space, as well as the dynamics of this space. Efroni et al. (2022b) has shown that this is possible with a sample complexity that depends only on the size of the controllable latent space, and not on the size of the noise factor. However, this prior work has focused on the episodic setting, where the controllable latent state resets to a specific start state after a finite horizon. By contrast, if the agent can only interact with the environment in a single continuous trajectory, prior works have not established sample-complexity bounds. We propose STEEL, the first provably sample-efficient algorithm for learning the controllable dynamics of an Ex-BMDP from a single trajectory, in the function approximation setting. STEEL has a sample complexity that depends only on the sizes of the controllable latent space and the encoder function class, and (at worst linearly) on the mixing time of the exogenous noise factor. We prove that STEEL is correct and sample-efficient, and demonstrate STEEL on two toy problems. Code is available at: https://github.com/midi-lab/steel.
• Abstract（参考訳）: 新しい目的や報酬関数に迅速に適応できるエージェントを訓練するためには、シーケンシャルな意思決定環境における効率的な教師なし表現学習が重要である。 Exogenous Block Markov Decision Process (Ex-BMDP) のようなフレームワークは、この表現学習問題を形式化するために提案されている(Efroni et al , 2022b)。 元BMDPフレームワークでは、エージェントの環境に対する高次元的な観察は、エージェントの行動に応じて小さな状態空間内で決定的に進化する制御可能な因子と、時間関連ノイズを表す外因性因子と、非常に複雑である。 表現学習問題の目標は、観測から制御可能な潜在空間、およびこの空間の力学にマッピングするエンコーダを学習することである。 Efroni et al (2022b) は、これは制御可能な潜伏空間のサイズにのみ依存し、ノイズ係数のサイズに依存しないサンプルの複雑さで可能であることを示した。 しかし、この先行研究は、制御可能な潜伏状態が有限の地平線の後特定の開始状態にリセットされるエピソード設定に焦点を当てている。 対照的に、エージェントが単一の連続軌道でしか環境と相互作用できない場合、以前の研究はサンプル-複素性境界を確立していない。 関数近似設定において,1つの軌道からEx-BMDPの制御可能なダイナミクスを学習するための,最初の証明可能なサンプル効率アルゴリズムであるSTEELを提案する。 STEELは、制御可能な潜在空間とエンコーダ関数クラスのサイズにのみ依存するサンプル複雑性を持ち、(最悪の線形では)外因性雑音係数の混合時間に依存する。 我々は,STEELが正解であり,サンプル効率が良いことを証明し,STEELを2つの玩具問題で実証した。 コードは、https://github.com/midi-lab/steel.comで入手できる。

関連論文リスト

• Bidirectional Decoding: Improving Action Chunking via Closed-Loop Resampling [51.38330727868982]
  双方向デコーディング(BID)は、クローズドループ操作で動作チャンキングをブリッジするテスト時間推論アルゴリズムである。 BIDは、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• A Dual Approach to Imitation Learning from Observations with Offline Datasets [19.856363985916644]
  報酬関数の設計が困難な環境では、エージェントを学習するためのタスク仕様の効果的な代替手段である。 専門家の行動を必要とせずに任意の準最適データを利用してポリシーを模倣するアルゴリズムであるDILOを導出する。
  論文  参考訳（メタデータ） (2024-06-13T04:39:42Z)
• Learning Action-based Representations Using Invariance [18.1941237781348]
  我々は,制御に関係のある遠隔状態の特徴を割引する多段階制御可能性指標を学習するアクションビシミュレーション符号化を導入する。 我々は,報酬のない一様ランダムなデータに基づく行動ビシミュレーション事前学習が,複数の環境におけるサンプル効率を向上させることを実証した。
  論文  参考訳（メタデータ） (2024-03-25T02:17:54Z)
• Multistep Inverse Is Not All You Need [87.62730694973696]
  実世界の制御環境では、観測空間は不要に高次元であり、時間関連ノイズにさらされることが多い。 したがって、観測空間を制御関連変数のより単純な空間にマッピングするエンコーダを学ぶことが望ましい。 本稿では,多段階逆予測と遅延フォワードモデルを組み合わせた新しいアルゴリズムACDFを提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:36:01Z)
• Latent Exploration for Reinforcement Learning [87.42776741119653]
  強化学習では、エージェントは環境を探索し、相互作用することでポリシーを学ぶ。 LATent TIme-Correlated Exploration (Lattice)を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:40:43Z)
• STMixer: A One-Stage Sparse Action Detector [48.0614066856134]
  我々はSTMixerと呼ばれる新しいワンステージアクション検出器を提案する。 我々は,STMixerに識別ビデオ機能セットをマイニングする柔軟性を付与する,クエリベースの適応型特徴サンプリングモジュールを提案する。 AVA, UCF101-24, JHMDB のデータセットの最先端結果を得た。
  論文  参考訳（メタデータ） (2023-03-28T10:47:06Z)
• Provable RL with Exogenous Distractors via Multistep Inverse Dynamics [85.52408288789164]
  実世界の強化学習(RL)の応用は、メガピクセルカメラから生成されたような高次元の観察にエージェントが対処する必要がある。 従来の研究は表現学習でこのような問題に対処しており、エージェントは生の観察から内因性、潜伏状態の情報を確実に抽出することができる。 しかし、このような手法は観測において時間的に相関するノイズの存在下では失敗する可能性がある。
  論文  参考訳（メタデータ） (2021-10-17T15:21:27Z)
• Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting [60.98700344526674]
  線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。 本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。 この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
  論文  参考訳（メタデータ） (2021-05-17T17:22:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。