論文の概要: Computationally efficient safe exploration in reinforcement learning

• arxiv url: http://arxiv.org/abs/2609.22919v1
• Date: Sat, 19 Sep 2026 09:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.587651
• Title: Computationally efficient safe exploration in reinforcement learning
• Title（参考訳）: 強化学習における計算効率の良い安全な探索
• Abstract要約: リアルタイムアプリケーションにおける強化学習は、探索中に安全性を保証する必要がある。 制約付きマルコフ決定過程(MDP)を安全に探索し最適化する,Nadaraya-Watson推定器に基づく計算軽量なアルゴリズムを提案する。 提案アルゴリズムである textscCoLSafe-MDP では,推定値のバウンダリで一定時間スケールする推定器を使用。
• 参考スコア（独自算出の注目度）: 1.8540246922632422
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reinforcement learning in real-life applications requires safety guarantees during exploration. Typical reinforcement learning algorithms do not provide such guarantees, and many modifications that do rely on Gaussian processes (GPs), which have a large computational cost. We propose a computationally lightweight algorithm based on the Nadaraya-Watson estimator that safely explores and optimizes constrained Markov decision processes (MDPs). Our algorithm, \textsc{CoLSafe-MDP}, uses an estimator that scales in constant-time with bounds on the estimates, a significant improvement from its GP-based counterparts that scale cubically with the number of data points. We then evaluate its performance in a grid-based environment and on observational Martian terrain data.
• Abstract（参考訳）: リアルタイムアプリケーションにおける強化学習は、探索中に安全性を保証する必要がある。 典型的な強化学習アルゴリズムはそのような保証を提供しておらず、計算コストの大きいガウス過程(GP)に依存する多くの修正がある。 本稿では,制約付きマルコフ決定過程(MDP)を安全に探索・最適化する,Nadaraya-Watson推定器に基づく計算軽量なアルゴリズムを提案する。 我々のアルゴリズムである \textsc{CoLSafe-MDP} は、推定値のバウンダリで一定時間にスケールする推定器を用いており、データポイント数と3倍にスケールするGPベースのアルゴリズムから大幅に改善されている。 次に、グリッドベースの環境と火星の観測地形データに基づいて、その性能を評価する。

関連論文リスト

• Scalable Gaussian process modeling of parametrized spatio-temporal fields [2.005299372367689]
  固定時間領域やパラメータ時間領域上でのパラメータ化方程式の学習のためのスケーラブルなフレームワークを開発する。 提案手法の鍵となる特徴は,後部平均と基本的に同じ計算コストで,後部分散の効率的な計算である。 結果は、特に下流タスクに不確実性推定を必要とする場合、データ駆動サロゲートモデリングの効果的なツールとして提案フレームワークを確立した。
  論文  参考訳（メタデータ） (2026-02-27T20:16:21Z)
• Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling [14.358070928996069]
  ガウス過程 (GP) 変分オートエンコーダ (VAEs) は、完全に分解されたガウス前処理をGP前処理に置き換えることで標準のVAEを拡張する。 大規模GPVAEにおける正確なGP推論の実行は、計算的に禁止されており、しばしば既存のアプローチは制限的なカーネルの仮定に頼らざるを得ない。 本稿では,拡張性のあるGPVAE推論を実現するために,潜在空間における局所的隣接性を利用する近似手法を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:07:33Z)
• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Efficient Learning of POMDPs with Known Observation Model in Average-Reward Setting [56.92178753201331]
  我々は,POMDPパラメータを信念に基づくポリシを用いて収集したサンプルから学習することのできる観測・認識スペクトル(OAS)推定手法を提案する。 提案するOAS-UCRLアルゴリズムに対して,OASプロシージャの整合性を示し,$mathcalO(sqrtT log(T)$の残差保証を証明した。
  論文  参考訳（メタデータ） (2024-10-02T08:46:34Z)
• Efficiently Computable Safety Bounds for Gaussian Processes in Active Learning [6.217857116096573]
  多くの技術応用において、設計空間は連続的な軌跡を通して探索され、その上で安全性を評価する必要がある。 これはGP法における厳格な安全性要件に対して特に困難である。 本稿では,後GPの上限値の適応的なサンプル化中央値に基づいて,証明可能な安全性境界を提供することにより,これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-02-28T11:47:15Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• A computationally lightweight safe learning algorithm [1.9295598343317182]
  確率論的安全保証を提供するが,ナダラヤ・ワトソン推定器を利用する安全な学習アルゴリズムを提案する。 提案手法は,シミュレーションした7自由度ロボットマニピュレータ上で,理論的保証を行い,それらを安全な学習アルゴリズムに組み込んだ数値実験を行う。
  論文  参考訳（メタデータ） (2023-09-07T12:21:22Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems [81.7983463275447]
  学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。 本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。