論文の概要: Mini-Batch Risk-Averse Deep Q-Learning: A Robot Navigation Case Study
- arxiv url: http://arxiv.org/abs/2609.07998v1
- Date: Mon, 07 Sep 2026 21:33:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.525036
- Title: Mini-Batch Risk-Averse Deep Q-Learning: A Robot Navigation Case Study
- Title（参考訳）: Mini-Batch Risk-Averse Deep Q-Learning:ロボットナビゲーションケーススタディ
- Abstract要約: 本稿では,マルコフのリスク尺度を用いて,政策の質を評価するマルコフ決定過程の制御について検討する。
このような対策と強化学習を組み合わせる主な障害は、遷移リスクマッピングが非線形に遷移カーネルに依存することである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the control of Markov decision processes in which the quality of a policy is evaluated by a dynamic, time-consistent Markov risk measure rather than by an expected discounted cost. The main obstacle to combining such measures with reinforcement learning is that a transition risk mapping depends on the transition kernel in a nonlinear way, and therefore cannot be estimated from a single observed transition. We remove this obstacle by employing mini-batch transition risk mappings: the mapping is applied to the empirical measure of $N$ independent next-state samples, and the result is averaged. The resulting mapping is again coherent. However, as an expected value of a function of $N$ next-state values, it admits an unbiased one-sample estimator. We embed this mapping into a double deep Q-network, analyze the two sources of estimation bias that arise, and obtain a risk-averse Q-learning method applicable to state spaces far beyond the reach of tabular schemes. The method is applied to an underwater robot navigation problem, in which a vehicle must visit collection points, gather stochastic information payloads, and deliver them at transmission points, while exposed at each step to the risk of destruction. A hierarchical decomposition delegates path execution to an exact graph search and confines learning to the high-level ``collect or transmit'' decision. A low-dimensional feature map, invariant under the symmetries of the problem, replaces the raw state--configuration encoding. In experiments on $300$ held-out environments, the resulting policies transfer to instance sizes never seen in training, and already $N=2$ reduces the upper semideviation of the outcome distribution while simultaneously improving its mean whenever the simulator is misspecified---an empirical counterpart of the duality between coherent risk measures and distributional robustness.
- Abstract（参考訳）: 本研究では,政策の質を期待価格ではなく,動的かつ時間整合的なマルコフリスク尺度で評価するマルコフ決定過程の制御について検討する。
このような手法と強化学習を組み合わせる主な障害は、遷移リスクマッピングが非線形に遷移カーネルに依存するため、単一の観測された遷移から推定することはできないことである。
我々は、ミニバッチ遷移リスクマッピングを用いて、この障害を取り除く。このマッピングは、N$独立次状態サンプルの実証測度に適用され、その結果が平均化される。
結果として得られる写像は再びコヒーレントである。
しかしながら、関数の期待値である$N$の次状態値として、偏りのない一サンプル推定器が認められる。
本稿では、このマッピングを二重深度Q-ネットワークに埋め込み、発生した2つの推定バイアス源を分析し、表のスキームの範囲を超えた状態空間に適用可能なリスク-逆Q-ラーニング法を得る。
この方法は、車両が収集地点を訪れ、確率的な情報ペイロードを集め、それらを各ステップで破壊の危険にさらされながら送信地点に届けなければならない水中ロボットナビゲーション問題に適用される。
階層的な分解は、パス実行を正確なグラフ検索に委譲し、学習を高レベルの ``collect or send'' 決定に限定する。
問題の対称性の下で不変な低次元特徴写像は、元の状態-構成エンコーディングを置き換える。
300ドル(約3万3000円)の保留環境での実験では、結果として得られるポリシーはトレーニングで見ることのないインスタンスサイズに移行し、すでに$N=2$は結果分布の上限半減を減らし、シミュレータが誤って特定されるたびにその平均を同時に改善します。
関連論文リスト
- Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - Transfer Learning in High-dimensional Ising Models [4.952373271400918]
Trans-Isingは、損失ベースのソーススクリーニングルールと2段階推定手順を組み合わせた転送学習手法である。
そこで本研究では,Trans-Isingがターゲットのみの推定とナイーブなデータプールよりも低い推定誤差を実現することを示す。
論文 参考訳（メタデータ） (2026-07-03T06:39:54Z) - Contaminated Multi-task Learning with Heterogeneity: Fundamental Limits and Optimal Algorithms [5.54992643082602]
汚染されたマルチタスクの実験的リスク最小化フレームワークについて検討する。
我々の目標は、平均リスクの世界的な最小化とタスク固有の最小化の両方を見積もることです。
計算効率の良いフィルタリングに基づくロバストなマルチタスク勾配勾配法を提案する。
論文 参考訳（メタデータ） (2026-07-02T18:23:41Z) - Can Attribution Predict Risk? From Multi-View Attribution to Planning Risk Signals in End-to-End Autonomous Driving [51.726472686971896]
エンド・ツー・エンドの自律運転モデルは、多視点入力から将来の軌跡を生成する。
既存の手法では、軌道生成の根底にある視覚的証拠を明らかにすることができない。
エンド・ツー・エンド・プランニングのための階層的属性・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-07T13:38:18Z) - Near-Optimal Dynamic Regret for Adversarial Linear Mixture MDPs [63.47351876442425]
本研究は,完全情報フィードバックの下で,相変わらずの相変わらずの線形混合MDPについて検討した。
本稿では,占領率に基づく手法と政策に基づく手法の利点を組み合わせた新しいアルゴリズムを提案する。
我々のアルゴリズムは$widetildemathcalO(d sqrtH3 K + sqrtHK(H + barP_K$)$ dynamic regret, ここで$d$は特徴次元である。
論文 参考訳（メタデータ） (2024-11-05T13:55:52Z) - Echoes of Socratic Doubt: Embracing Uncertainty in Calibrated Evidential Reinforcement Learning [1.7898305876314982]
提案アルゴリズムは,共形推論の原理に基づいて,深い明解学習と量子キャリブレーションを組み合わせる。
ミニチュア化されたアタリゲームスイート(MinAtar)でテストされる。
論文 参考訳（メタデータ） (2024-02-11T05:17:56Z) - Estimation of Non-Crossing Quantile Regression Process with Deep ReQU
Neural Networks [5.5272015676880795]
本稿では,2次単位(ReQU)活性化深層ニューラルネットワークを用いた非分離モデルにおいて,QRP(quantile regression process)を推定するペナル化非パラメトリック手法を提案する。
推定されたQRPに対する非漸近的過剰リスク境界を確立し、軽度な滑らかさと規則性条件下で推定されたQRPに対する平均2乗誤差を導出する。
論文 参考訳（メタデータ） (2022-07-21T12:26:45Z) - Sample Complexity of Nonparametric Off-Policy Evaluation on
Low-Dimensional Manifolds using Deep Networks [71.95722100511627]
深層ニューラルネットワークを用いた強化学習における非政治的評価問題について考察する。
ネットワークサイズを適切に選択することにより、マルコフ決定過程において低次元多様体構造を利用することができることを示す。
論文 参考訳（メタデータ） (2022-06-06T20:25:20Z) - Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
マルコフ決定過程における純粋探索問題について検討する。
エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
論文 参考訳（メタデータ） (2021-06-05T09:16:28Z) - Upper Confidence Primal-Dual Reinforcement Learning for CMDP with
Adversarial Loss [145.54544979467872]
マルコフ決定過程(CMDP)に対するオンライン学習の検討
本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。
我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
論文 参考訳（メタデータ） (2020-03-02T05:02:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。