論文の概要: Self Paced Gaussian Contextual Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2603.23755v1
- Date: Tue, 24 Mar 2026 22:28:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-26 21:06:11.044443
- Title: Self Paced Gaussian Contextual Reinforcement Learning
- Title（参考訳）: 自己ペースト型ガウス文脈強化学習
- Authors: Mohsen Sahraei Ardakani, Rui Song,
- Abstract要約: Self-Paced Gaussian Curriculum Learning (SPGL) は、コンテキスト分布にクローズドフォーム更新ルールを活用することで、コストのかかる数値処理を回避する新しい手法である。
SPGLは、計算オーバーヘッドを大幅に削減しつつ、従来のセルフペース方式のサンプル効率と適応性を維持している。
実験結果から,SPGLは既存のカリキュラム手法,特に隠れたコンテキストシナリオに適合し,性能が優れていることが示された。
- 参考スコア（独自算出の注目度）: 5.540697986965181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Curriculum learning improves reinforcement learning (RL) efficiency by sequencing tasks from simple to complex. However, many self-paced curriculum methods rely on computationally expensive inner-loop optimizations, limiting their scalability in high-dimensional context spaces. In this paper, we propose Self-Paced Gaussian Curriculum Learning (SPGL), a novel approach that avoids costly numerical procedures by leveraging a closed-form update rule for Gaussian context distributions. SPGL maintains the sample efficiency and adaptability of traditional self-paced methods while substantially reducing computational overhead. We provide theoretical guarantees on convergence and validate our method across several contextual RL benchmarks, including the Point Mass, Lunar Lander, and Ball Catching environments. Experimental results show that SPGL matches or outperforms existing curriculum methods, especially in hidden context scenarios, and achieves more stable context distribution convergence. Our method offers a scalable, principled alternative for curriculum generation in challenging continuous and partially observable domains.
- Abstract（参考訳）: カリキュラム学習は、タスクを単純から複雑にシークエンシングすることで強化学習(RL)効率を向上させる。
しかし、多くの自己ペースのカリキュラム手法は計算コストのかかるインナーループ最適化に依存しており、高次元のコンテキスト空間におけるスケーラビリティを制限している。
本稿では,ガウスの文脈分布に対するクローズドフォーム更新ルールを活用することで,コストのかかる数値処理を回避する新しい手法であるセルフパスガウスカリキュラム学習(SPGL)を提案する。
SPGLは、計算オーバーヘッドを大幅に削減しつつ、従来のセルフペース方式のサンプル効率と適応性を維持している。
我々は、ポイントマス、ルナーランダー、ボールキャッチ環境など、いくつかの文脈RLベンチマークにおける収束の理論的保証と手法の検証を行う。
実験結果から,SPGLは既存のカリキュラム手法,特に隠れコンテキストシナリオに適合し,より安定したコンテキスト分布収束を実現することがわかった。
本手法は,継続的かつ部分的に観察可能な領域において,カリキュラム生成のためのスケーラブルで原則化された代替手段を提供する。
関連論文リスト
- CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。
収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
論文 参考訳（メタデータ） (2025-10-01T15:41:27Z) - Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。
本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。
アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
論文 参考訳（メタデータ） (2025-10-01T12:29:32Z) - Latent Guided Sampling for Combinatorial Optimization [3.636090511738153]
最近の組合せ最適化手法は、深層学習を利用して解法戦略を学習し、監視学習または強化学習(RL)を通して訓練されている。
有望ではあるが、これらのアプローチは多くの場合、タスク固有の拡張に依存し、配布外のインスタンスではパフォーマンスが悪く、堅牢な推論機構が欠如している。
本稿では,効率的な問題インスタンスを条件づけた新しい潜在空間モデルLGS-Netを提案するとともに,効率的なニューラル推論手法であるLatent Guided Sampling(LGS)を提案する。
論文 参考訳（メタデータ） (2025-06-04T08:02:59Z) - Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。
数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
論文 参考訳（メタデータ） (2024-09-02T12:55:27Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - Adaptive pruning-based Newton's method for distributed learning [14.885388389215587]
本稿では,分散適応ニュートン学習(textttDANL)という,新規で効率的なアルゴリズムを提案する。
textttDANLは、利用可能なリソースに効率よく適応し、高い効率を維持しながら、線形収束率を達成する。
実験により、textttDANLは、効率的な通信と異なるデータセット間の強い性能で線形収束を実現することが示された。
論文 参考訳（メタデータ） (2023-08-20T04:01:30Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-08-22T16:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。