論文の概要: Overcoming the Curse of Dimensionality in Reinforcement Learning Through Approximate Factorization

• arxiv url: http://arxiv.org/abs/2411.07591v1
• Date: Tue, 12 Nov 2024 07:08:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:20:50.863786
• Title: Overcoming the Curse of Dimensionality in Reinforcement Learning Through Approximate Factorization
• Title（参考訳）: 近似因子化による強化学習における次元曲線の克服
• Authors: Chenbei Lu, Laixi Shi, Zaiwei Chen, Chenye Wu, Adam Wierman,
• Abstract要約: 強化学習(RL)アルゴリズムは次元性の呪いに苦しむことが知られている。 本稿では,元のマルコフ決定過程(MDP)を,より小さく,独立に進化するMDPに大まかに分解することで,次元性の呪いを克服することを提案する。 提案手法は,両アルゴリズムに改良された複雑性保証を提供する。
• 参考スコア（独自算出の注目度）: 15.898378661128334
• License:
• Abstract: Reinforcement Learning (RL) algorithms are known to suffer from the curse of dimensionality, which refers to the fact that large-scale problems often lead to exponentially high sample complexity. A common solution is to use deep neural networks for function approximation; however, such approaches typically lack theoretical guarantees. To provably address the curse of dimensionality, we observe that many real-world problems exhibit task-specific model structures that, when properly leveraged, can improve the sample efficiency of RL. Building on this insight, we propose overcoming the curse of dimensionality by approximately factorizing the original Markov decision processes (MDPs) into smaller, independently evolving MDPs. This factorization enables the development of sample-efficient RL algorithms in both model-based and model-free settings, with the latter involving a variant of variance-reduced Q-learning. We provide improved sample complexity guarantees for both proposed algorithms. Notably, by leveraging model structure through the approximate factorization of the MDP, the dependence of sample complexity on the size of the state-action space can be exponentially reduced. Numerically, we demonstrate the practicality of our proposed methods through experiments on both synthetic MDP tasks and a wind farm-equipped storage control problem.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)アルゴリズムは次元性の呪いに悩まされることが知られている。 一般的な解決策は、関数近似にディープニューラルネットワークを使用することであるが、そのようなアプローチは理論的な保証を欠いている。 実世界の多くの問題は、適切に活用すればRLのサンプル効率を向上させることができるタスク固有のモデル構造を示す。 この知見に基づいて,元のマルコフ決定過程(MDP)をより小さく,独立に進化したMDPに大まかに分解することで,次元の呪いを克服することを提案する。 この因子化により、モデルベースおよびモデルフリー設定の両方においてサンプル効率のよいRLアルゴリズムの開発が可能となり、後者は分散還元Q-ラーニングの変種を含む。 提案手法は,両アルゴリズムに改良された複雑性保証を提供する。 特に、MDPの近似因数分解によるモデル構造を活用することにより、状態-作用空間のサイズに対するサンプルの複雑さの依存性を指数関数的に減少させることができる。 提案手法の実用性について,人工MDPタスクと風力発電設備のストレージ制御問題の両方を用いた実験により検証した。

関連論文リスト

• Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
  本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。 視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。 実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
  論文  参考訳（メタデータ） (2024-10-10T17:02:48Z)
• Feature Attenuation of Defective Representation Can Resolve Incomplete Masking on Anomaly Detection [1.0358639819750703]
  教師なし異常検出(UAD)研究では、計算効率が高くスケーラブルなソリューションを開発する必要がある。 再建・塗り替えのアプローチを再考し、強みと弱みを分析して改善する。 異常再構成の特徴情報を減衰させる2つの層のみを用いるFADeR(Feature Attenuation of Defective Representation)を提案する。
  論文  参考訳（メタデータ） (2024-07-05T15:44:53Z)
• Diffusion Spectral Representation for Reinforcement Learning [17.701625371409644]
  本稿では,表現学習の観点からの強化学習に拡散モデルの柔軟性を活用することを提案する。 拡散モデルとエネルギーベースモデルとの接続を利用して拡散スペクトル表現(Diff-SR)を開発する。 Diff-SRは、拡散モデルからのサンプリングの難易度と推論コストを明示的に回避しつつ、効率的なポリシー最適化と実用的なアルゴリズムを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-06-23T14:24:14Z)
• Efficient Quantization Strategies for Latent Diffusion Models [20.942161659019554]
  潜時拡散モデル(LDM)は時間とともに潜時変数の動的進化を捉える。 ポストトレーニング量子化(PTQ)は、ディープラーニングモデルの操作サイズを圧縮する手法である。 本研究では, LDMを効率的に定量化する量子化戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-09T01:47:16Z)
• Non-stationary Reinforcement Learning under General Function Approximation [60.430936031067006]
  まず,非定常MDPに対する動的ベルマンエルダー次元(DBE)と呼ばれる新しい複雑性指標を提案する。 提案する複雑性指標に基づいて,SW-OPEAと呼ばれる新しい信頼度セットに基づくモデルフリーアルゴリズムを提案する。 SW-OPEAは,変動予算がそれほど大きくない限り,有効に有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-01T16:19:37Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。