論文の概要: Vision-driven River Following of UAV via Safe Reinforcement Learning using Semantic Dynamics Model

• arxiv url: http://arxiv.org/abs/2508.09971v1
• Date: Wed, 13 Aug 2025 17:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.981058
• Title: Vision-driven River Following of UAV via Safe Reinforcement Learning using Semantic Dynamics Model
• Title（参考訳）: セマンティックダイナミクスモデルを用いた安全強化学習によるUAVの視覚駆動型河川追従
• Authors: Zihan Wang, Nina Mahmoudian,
• Abstract要約: 無人航空機による視覚駆動の自律川は、救助、監視、環境監視といった用途に欠かせない。 報奨関数がサブモジュラーであり、よりユニークな河川セグメントが訪れるとリターンが低下するカバレッジ制御問題として、河川追従を定式化する。 本稿では,モデルベースのSafeRLフレームワークを構築するために,アクタ,コスト推定器,SDMを統合するConstrained Actor Dynamics Estimatorアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 11.29011178752037
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-driven autonomous river following by Unmanned Aerial Vehicles is critical for applications such as rescue, surveillance, and environmental monitoring, particularly in dense riverine environments where GPS signals are unreliable. We formalize river following as a coverage control problem in which the reward function is submodular, yielding diminishing returns as more unique river segments are visited, thereby framing the task as a Submodular Markov Decision Process. First, we introduce Marginal Gain Advantage Estimation, which refines the reward advantage function by using a sliding window baseline computed from historical episodic returns, thus aligning the advantage estimation with the agent's evolving recognition of action value in non-Markovian settings. Second, we develop a Semantic Dynamics Model based on patchified water semantic masks that provides more interpretable and data-efficient short-term prediction of future observations compared to latent vision dynamics models. Third, we present the Constrained Actor Dynamics Estimator architecture, which integrates the actor, the cost estimator, and SDM for cost advantage estimation to form a model-based SafeRL framework capable of solving partially observable Constrained Submodular Markov Decision Processes. Simulation results demonstrate that MGAE achieves faster convergence and superior performance over traditional critic-based methods like Generalized Advantage Estimation. SDM provides more accurate short-term state predictions that enable the cost estimator to better predict potential violations. Overall, CADE effectively integrates safety regulation into model-based RL, with the Lagrangian approach achieving the soft balance of reward and safety during training, while the safety layer enhances performance during inference by hard action overlay.
• Abstract（参考訳）: 無人航空機による視覚駆動の自律川は、特にGPS信号が信頼できない密集した河川環境において、救助、監視、環境監視などの用途に欠かせない。 我々は,報奨関数がサブモジュラーであり,よりユニークな河川セグメントが訪れるとリターンが減少し,サブモジュラーマルコフ決定プロセスとしてタスクをフレーミングする,カバレッジ制御問題として,河川追従を定式化する。 まず,ヒストリカル・エピソード・リターンから計算したスライディング・ウインドウ・ベースラインを用いて,報酬優位性関数を洗練し,非マルコフ的セッティングにおけるエージェントの行動値の進化的認識と整合性を持たせる。 第2に,潜時視覚力学モデルと比較して,より解釈可能かつデータ効率のよい将来の観測の短期的予測が可能なセマンティック・ダイナミクス・モデルを開発した。 第3に、アクター、コスト推定器、SDMを統合した制約されたアクターダイナミクス推定器アーキテクチャを提案し、部分的に可観測性のあるサブモジュラーマルコフ決定過程を解くことができるモデルベースのSafeRLフレームワークを構築した。 シミュレーションの結果、MGAEは、一般化アドバンテージ推定のような従来の批判に基づく手法よりも早く収束し、優れた性能を発揮することが示された。 SDMは、コスト推定器が潜在的な違反をより正確に予測できるように、より正確な短期状態予測を提供する。 全体として、CADEはモデルベースのRLに、トレーニング中の報酬と安全のソフトバランスを達成するためのラグランジアンアプローチと、ハードアクションオーバーレイによる推論時のパフォーマンスを高めるための安全規制を効果的に統合する。

関連論文リスト

• Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
  本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。 未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:04:04Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Probabilistic Traffic Forecasting with Dynamic Regression [15.31488551912888]
  本稿では,交通予測における誤り過程の学習を取り入れた動的回帰(DR)フレームワークを提案する。 このフレームワークは、行列構造自己回帰(AR)モデルを用いてベースモデルのエラー系列をモデル化することにより、時間独立の仮定を緩和する。 新たに設計された損失関数は、非等方的誤差項の確率に基づいており、モデルがベースモデルの元の出力を保持しながら確率的予測を生成することができる。
  論文  参考訳（メタデータ） (2023-01-17T01:12:44Z)
• Foresee then Evaluate: Decomposing Value Estimation with Latent Future Prediction [37.06232589005015]
  価値関数は強化学習(rl)の中心的な概念である 将来予測付き価値分解(VDFP)を提案する。 価値関数を潜在未来ダイナミクス部とポリシー非依存軌道返却部とに分析分解し、潜在ダイナミクスをモデル化する方法を誘導し、価値推定において別々に返却する。
  論文  参考訳（メタデータ） (2021-03-03T07:28:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。