論文の概要: Vision-driven River Following of UAV via Safe Reinforcement Learning using Semantic Dynamics Model

• arxiv url: http://arxiv.org/abs/2508.09971v1
• Date: Wed, 13 Aug 2025 17:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.981058
• Title: Vision-driven River Following of UAV via Safe Reinforcement Learning using Semantic Dynamics Model
• Title（参考訳）: セマンティックダイナミクスモデルを用いた安全強化学習によるUAVの視覚駆動型河川追従
• Authors: Zihan Wang, Nina Mahmoudian,
• Abstract要約: 無人航空機による視覚駆動の自律川は、救助、監視、環境監視といった用途に欠かせない。 報奨関数がサブモジュラーであり、よりユニークな河川セグメントが訪れるとリターンが低下するカバレッジ制御問題として、河川追従を定式化する。 本稿では,モデルベースのSafeRLフレームワークを構築するために,アクタ,コスト推定器,SDMを統合するConstrained Actor Dynamics Estimatorアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 11.29011178752037
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-driven autonomous river following by Unmanned Aerial Vehicles is critical for applications such as rescue, surveillance, and environmental monitoring, particularly in dense riverine environments where GPS signals are unreliable. We formalize river following as a coverage control problem in which the reward function is submodular, yielding diminishing returns as more unique river segments are visited, thereby framing the task as a Submodular Markov Decision Process. First, we introduce Marginal Gain Advantage Estimation, which refines the reward advantage function by using a sliding window baseline computed from historical episodic returns, thus aligning the advantage estimation with the agent's evolving recognition of action value in non-Markovian settings. Second, we develop a Semantic Dynamics Model based on patchified water semantic masks that provides more interpretable and data-efficient short-term prediction of future observations compared to latent vision dynamics models. Third, we present the Constrained Actor Dynamics Estimator architecture, which integrates the actor, the cost estimator, and SDM for cost advantage estimation to form a model-based SafeRL framework capable of solving partially observable Constrained Submodular Markov Decision Processes. Simulation results demonstrate that MGAE achieves faster convergence and superior performance over traditional critic-based methods like Generalized Advantage Estimation. SDM provides more accurate short-term state predictions that enable the cost estimator to better predict potential violations. Overall, CADE effectively integrates safety regulation into model-based RL, with the Lagrangian approach achieving the soft balance of reward and safety during training, while the safety layer enhances performance during inference by hard action overlay.
• Abstract（参考訳）: 無人航空機による視覚駆動の自律川は、特にGPS信号が信頼できない密集した河川環境において、救助、監視、環境監視などの用途に欠かせない。 我々は,報奨関数がサブモジュラーであり,よりユニークな河川セグメントが訪れるとリターンが減少し,サブモジュラーマルコフ決定プロセスとしてタスクをフレーミングする,カバレッジ制御問題として,河川追従を定式化する。 まず,ヒストリカル・エピソード・リターンから計算したスライディング・ウインドウ・ベースラインを用いて,報酬優位性関数を洗練し,非マルコフ的セッティングにおけるエージェントの行動値の進化的認識と整合性を持たせる。 第2に,潜時視覚力学モデルと比較して,より解釈可能かつデータ効率のよい将来の観測の短期的予測が可能なセマンティック・ダイナミクス・モデルを開発した。 第3に、アクター、コスト推定器、SDMを統合した制約されたアクターダイナミクス推定器アーキテクチャを提案し、部分的に可観測性のあるサブモジュラーマルコフ決定過程を解くことができるモデルベースのSafeRLフレームワークを構築した。 シミュレーションの結果、MGAEは、一般化アドバンテージ推定のような従来の批判に基づく手法よりも早く収束し、優れた性能を発揮することが示された。 SDMは、コスト推定器が潜在的な違反をより正確に予測できるように、より正確な短期状態予測を提供する。 全体として、CADEはモデルベースのRLに、トレーニング中の報酬と安全のソフトバランスを達成するためのラグランジアンアプローチと、ハードアクションオーバーレイによる推論時のパフォーマンスを高めるための安全規制を効果的に統合する。

関連論文リスト

• From Scalar Rewards to Potential Trends: Shaping Potential Landscapes for Model-Based Reinforcement Learning [22.59885243102632]
  SLOPE (Shaping Landscapes with Optimistic potential Estimates) は、報酬モデリングをスカラー予測から情報的潜在的景観構築に移行する新しいフレームワークである。 SLOPEは楽観的な分布回帰を用いて高信頼な上限を推定し、希少な成功信号を増幅し、十分な探査勾配を確保する。 5つのベンチマークで30以上のタスクを評価すると、SLOPEは、完全にスパース、半スパース、密度の高い報酬において、ベースラインを一貫して上回っていることが示される。
  論文  参考訳（メタデータ） (2026-02-03T07:13:26Z)
• Uncertainty Quantification for Large Language Model Reward Learning under Heterogeneous Human Feedback [8.538830579425147]
  大規模言語(LLM)の整合に使用される推定モデルと統計的報酬モデルについて検討する。 LLMアライメントの重要な構成要素は、人間のフィードバックからの強化学習である。
  論文  参考訳（メタデータ） (2025-12-02T20:22:25Z)
• Breaking the Safety-Capability Tradeoff: Reinforcement Learning with Verifiable Rewards Maintains Safety Guardrails in LLMs [3.198812241868092]
  検証可能な報酬(RLVR)による強化学習は、客観的に測定可能なタスクのモデルを最適化する有望な代替手段として登場した。 RLVRにおける安全特性の総合的・実証的な分析を行った。 実証実験により,RLVRは安全ガードレールの維持・改善を図りながら推論能力を同時に向上できることを示す。
  論文  参考訳（メタデータ） (2025-11-26T04:36:34Z)
• Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking [78.69179041551014]
  本稿では,インフォメーション・ボトルネックの原理に基づく情報理論報酬モデリングフレームワークを提案する。 InfoRMは、報酬の一般化を緩和するために、嗜好に無関係な情報をフィルタリングする。 IBLは分散レベルの正規化であり、そのような偏差を罰し、最適化の展望を効果的に拡張する。
  論文  参考訳（メタデータ） (2025-10-15T15:51:59Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Latent Variable Modeling in Multi-Agent Reinforcement Learning via Expectation-Maximization for UAV-Based Wildlife Protection [0.0]
  本稿では,野生生物保護の文脈における予測最大化に基づく潜在変数モデリング手法を提案する。 隠れた環境因子と潜伏変数によるエージェント間ダイナミクスをモデル化することにより,不確実性の下での探索と調整が促進される。 絶滅危惧種のイランヒョウの保護生息地をパトロールする10機のUAVを含むカスタムシミュレーションを用いてEM-MARLフレームワークの実装と評価を行った。
  論文  参考訳（メタデータ） (2025-08-26T06:57:33Z)
• Foresight in Motion: Reinforcing Trajectory Prediction with Reward Heuristics [34.570579623171476]
  The First Reasoning, Then Forecasting”は、行動意図を軌道予測のための空間的ガイダンスとして明示的に組み込む戦略である。 本稿では,新しいクエリ中心の逆強化学習方式を基礎とした,解釈可能な報酬駆動型意図推論手法を提案する。 提案手法は軌道予測の信頼性を著しく向上させ,最先端手法と比較して高い競争性能を実現する。
  論文  参考訳（メタデータ） (2025-07-16T09:46:17Z)
• Inverse Reinforcement Learning with Dynamic Reward Scaling for LLM Alignment [51.10604883057508]
  DR-IRL(逆強化学習によるリワードの動的調整)を提案する。 まず、IRLを介して7つの有害なカテゴリをカバーするバランスの取れた安全データセットを用いて、カテゴリ固有の報酬モデルを訓練する。 次に,テキストエンコーダのコサイン類似性によるデータレベルの硬さ,報酬ギャップによるモデルレベルの応答性など,タスク難易度による報酬を導入することにより,グループ相対政策最適化(GRPO)を強化する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:29Z)
• Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
  本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。 未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:04:04Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Probabilistic Traffic Forecasting with Dynamic Regression [15.31488551912888]
  本稿では,交通予測における誤り過程の学習を取り入れた動的回帰(DR)フレームワークを提案する。 このフレームワークは、行列構造自己回帰(AR)モデルを用いてベースモデルのエラー系列をモデル化することにより、時間独立の仮定を緩和する。 新たに設計された損失関数は、非等方的誤差項の確率に基づいており、モデルがベースモデルの元の出力を保持しながら確率的予測を生成することができる。
  論文  参考訳（メタデータ） (2023-01-17T01:12:44Z)
• Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation [78.17108227614928]
  本研究では,水文ナビゲーションに着目した安全強化学習のためのベンチマーク環境を提案する。 価値に基づく政策段階の深層強化学習(DRL)について考察する。 また,学習したモデルの振る舞いを所望の特性の集合上で検証する検証戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-16T16:53:56Z)
• Foresee then Evaluate: Decomposing Value Estimation with Latent Future Prediction [37.06232589005015]
  価値関数は強化学習(rl)の中心的な概念である 将来予測付き価値分解(VDFP)を提案する。 価値関数を潜在未来ダイナミクス部とポリシー非依存軌道返却部とに分析分解し、潜在ダイナミクスをモデル化する方法を誘導し、価値推定において別々に返却する。
  論文  参考訳（メタデータ） (2021-03-03T07:28:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。