論文の概要: Risk-Sensitive Mission Planning for Multi-Target On-Orbit Inspection via Distributional Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.41647v1
• Date: Fri, 30 Oct 2026 12:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.699776
• Title: Risk-Sensitive Mission Planning for Multi-Target On-Orbit Inspection via Distributional Reinforcement Learning
• Title（参考訳）: 分散強化学習によるマルチターゲット軌道検査のためのリスク感性ミッションプランニング
• Abstract要約: 本稿では,地球低軌道におけるマルチターゲットサーベイリングキャンペーンの適応的計画手法を提案する。 このアプローチは、ミッションリターンの完全な分布を学習する分散強化学習に基づいている。 5つの衛星のシナリオに関する数値実験により、1つのリスク回避重みが平均戻り値と戻り値のばらつきの範囲でポリシーを移動させることが示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-target on-orbit servicing missions require planning tools that can adapt to evolving operational conditions while accounting for the outcome variability inherent to safety-critical spaceflight. This paper presents an adaptive planning approach for multi-target servicing campaigns in low Earth orbit and applies it to inspection missions flown by a low-thrust servicer. The approach is based on Distributional Reinforcement Learning, which learns the full distribution of mission returns and thereby supports explicit risk-sensitive decision-making at each planning step. Specifically, a Quantile-Regression Deep Q-Network (QR-DQN) agent selects which target to inspect next by jointly considering the expectation and the variance of the predicted return through a mean-variance criterion. The mission environment models circular orbits with a spread in inclination and uses Edelbaum's combined-manoeuvre low-thrust transfer estimates. The observation comprises the orbital elements, the visit history, the observed risk state of each target and the remaining mission-time budget. The risk state of each target changes stochastically during the campaign, making the outcome of an inspection uncertain and creating operationally meaningful distinctions between risk-neutral and risk-averse planning strategies. Because the mission-time budget generally admits only a subset of the candidate targets, the planner must also select which targets to inspect. Numerical experiments on scenarios with five target satellites show that one risk-aversion weight moves the policy across a range of mean return and return variance, over an unchanged environment and reward. Risk-averse agents reduce the variance of the episodic return by approximately one half relative to risk-neutral agents and lower the probability of a mission loss, at a cost in mean return. To validate the learned policies, the efficient frontier, which gives the highest mean return attainable at each level of return variance, is computed exactly by enumerating the admissible visit orders. At equal variance, the learned policies lie close to this frontier in mean return, and the risk-averse policies have a lower probability of a mission loss than the frontier policies.
• Abstract（参考訳）: マルチターゲットの軌道上運用ミッションでは、安全クリティカルな宇宙飛行に固有の結果の変動を考慮しつつ、進化する運用条件に適応可能な計画ツールが必要である。 本稿では,低軌道上でのマルチターゲットサーベイリングキャンペーンの適応計画手法を提案し,低推力サーベイラによる点検ミッションに適用する。 このアプローチは分散強化学習に基づいており、ミッションリターンの完全な分布を学習し、各計画段階で明確なリスクに敏感な意思決定をサポートする。 具体的には、QR-DQN(Quantile-Regression Deep Q-Network)エージェントが、平均分散基準による予測リターンの期待と分散を共同で考慮して、次に検査対象を選択する。 ミッション環境は傾斜の広がりで円形の軌道をモデル化し、エデルバウムの低推力移動推定値を用いている。 観測は、軌道要素、訪問履歴、各目標の観測されたリスク状態、残りのミッションタイム予算から構成される。 各目標のリスク状態は、キャンペーン中に確率的に変化し、検査の結果が不確実になり、リスク中立とリスク逆計画戦略の運用上有意義な区別が生じる。 ミッションタイム予算は一般的に候補目標のサブセットしか認めないので、どのターゲットを検査するかをプランナーが選択する必要がある。 5つのターゲット衛星のシナリオに関する数値実験により、1つのリスク回避重みが平均戻り値と戻り値のばらつきの範囲にわたって、変化のない環境と報酬を越えてポリシーを移動させることが示されている。 リスク逆エージェントは、リスクニュートラルエージェントに対するエピソードリターンのばらつきを約半分減らし、平均リターンのコストでミッション損失の確率を下げる。 学習したポリシを検証するために、許容可能なビジターオーダーを列挙することにより、各リターン分散レベルで達成可能な最高平均リターンを与える効率的なフロンティアを正確に計算する。 平等な分散においては、学習されたポリシーは平均的なリターンにおいてこのフロンティアに近く、リスク-逆ポリシーはフロンティアポリシーよりもミッション損失の確率が低い。

関連論文リスト

• Chance-Constrained Inspection Viewpoint Sequencing for On-Orbit Servicing via Safe Reinforcement Learning [0.0]
  本稿では,視点選択をCMDP(Constrained Markov Decision Process)としてモデル化する。 ラグランジアン緩和法(Lagrangian relaxation)は、ラグランジアン緩和法(Lagrangian relaxation)を用いてこの問題を解決する。 この手法は、中地球にあるガリレオ級の航法衛星でテストされている。
  論文  参考訳（メタデータ） (2026-10-30T12:15:31Z)
• Reward Objectives for Robust (PO)MDPs: A Law-Preserving Equivalence with (Partially Observable) Games [7.319395616154356]
  本稿では,ロバスト部分観測可能なマルコフ決定プロセスモデルエージェントの解法について考察する。 本研究では,(1)予測値,(2)平均分散(MV),(3)条件付き値-at-risk(CVaR),(4)エントロピーリスク(ERisk)などの異なるリスク尺度を検討する。 本稿では, 法不変リスク尺度に基づいて, 割引, 長期平均および累積報酬目標を用いて, RPOMDPを解くための統一的枠組みを提案する。
  論文  参考訳（メタデータ） (2026-10-19T15:23:02Z)
• Action-Conditioned Risk Gating for Safety-Critical Control under Partial Observability [79.08785366532287]
  部分観測可能性下でのリスク感応制御のための軽量なリスクゲート強化学習近似を提案する。 安全クリティカルな部分観測可能な2つの領域 – 自動グルコース調節と安全制約ナビゲーション – でアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-14T01:23:09Z)
• Bayesian Ambiguity Contraction-based Adaptive Robust Markov Decision Processes for Adversarial Surveillance Missions [1.7188280334580195]
  コラボレーティブ・コンバット・エアクラフト(CCA)は、自律的な知能、監視、偵察ミッションを可能にするために計画されている。 これらのミッションは、モデルの不確実性と、安全でリアルタイムな意思決定の必要性によって、課題を提起する。 本稿では,CCA を用いた ISR ミッションに適した適応型マルコフ決定処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-01T13:31:40Z)
• Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models [63.559461750135334]
  言語モデル(LM)は、目標を達成するために自律的に行動可能なエージェントを構築するために、ますます使われています。 本研究では,人為的リスク構造を体系的に変化させる評価枠組みを用いて,この「回答または延期」問題を考察する。 回答や判断に要する独立したスキルを分離した簡易なスキル分解手法が,LMの意思決定ポリシーを一貫して改善できることがわかった。
  論文  参考訳（メタデータ） (2025-03-03T09:16:26Z)
• Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
  ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。 合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
  論文  参考訳（メタデータ） (2023-10-24T01:00:01Z)
• A Risk-Sensitive Approach to Policy Optimization [21.684251937825234]
  標準深層強化学習(DRL)は、政策の定式化における収集経験を均等に考慮し、期待される報酬を最大化することを目的としている。 そこで本研究では,フルエピソード報酬の分布の累積分布関数 (CDF) で規定されるリスク感性目標を最適化する,より直接的なアプローチを提案する。 エージェントの動作が不十分なシナリオを強調する中程度の「悲観的」リスクプロファイルの使用が,探索の強化と,障害への継続的な対処に繋がることを示す。
  論文  参考訳（メタデータ） (2022-08-19T00:55:05Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。