論文の概要: Environment Parameter Gradient Theorem for Policy-Environment Co-Design in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.12590v1
• Date: Tue, 14 Jul 2026 10:05:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.114979
• Title: Environment Parameter Gradient Theorem for Policy-Environment Co-Design in Reinforcement Learning
• Title（参考訳）: 強化学習における政策環境協調設計のための環境パラメータ勾配理論
• Abstract要約: 環境パラメータは、エージェントが経験した遷移力学とコストを形作るように調整できる。 環境パラメータに対する値関数の勾配の公式な式である環境勾配定理を確立する。 最適ポリシーと環境パラメータを同時に学習するモデルフリーアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 0.4061135251278187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) is traditionally concerned with learning a control policy for a fixed environment. In many engineering systems, however, the environment itself is alterable: physical or operational parameters can be tuned to shape the transition dynamics and costs experienced by the agent. This motivates jointly optimizing both the policy and the environment design parameters. To this end, we establish an Environment Parameter Gradient Theorem -- a formal expression for the gradient of the value function with respect to environment parameters. The key theoretical device is a generalized action-value function $Q_{π,ξ}(s,a,ζ)$, which comprises two copies of the environment parameters: $ζ$ governs the cost and transition dynamics at the current state--action pair, while $ξ$ governs the future rollouts. This decoupling yields a tractable closed-form gradient expression and is essential to the theorem's derivation. Building on this result, we develop a model-free algorithm that simultaneously learns the optimal policy and the environment parameters. We demonstrate the efficacy of our framework on a UAV network design problem, where the optimal UAV placement (environment parameters) and communication routes (governed by the policy) are learned jointly to minimize the total communication cost in the network.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、伝統的に、固定環境に対する制御ポリシーの学習に関係している。 しかし、多くの工学系では、環境そのものは変更可能であり、物理的パラメータや操作パラメータを調整して、エージェントが経験した遷移力学やコストを形作ることができる。 これは、ポリシーと環境設計パラメータの両方を共同で最適化する動機である。 この目的のために、我々は、環境パラメータに関する値関数の勾配の公式な式である環境パラメータ勾配定理を確立する。 鍵となる理論装置は、一般化された作用値関数 $Q_{π, </s, a, )$ であり、これは環境パラメータの2つのコピーからなる:$ は現在の状態-作用対におけるコストと遷移のダイナミクスを、$ は将来のロールアウトを統治する。 この疎結合は、引き込み可能な閉形式勾配表現をもたらし、定理の導出に不可欠である。 この結果に基づいて,最適ポリシーと環境パラメータを同時に学習するモデルフリーアルゴリズムを開発した。 本稿では,UAVネットワーク設計問題において,UAVの最適配置(環境パラメータ)と通信経路(ポリシーによって支配される)を併用して学習し,ネットワーク全体の通信コストを最小化する枠組みの有効性を実証する。

関連論文リスト

• EnvHarness: Awakening Static Worlds for Agent Learning [58.54600450547412]
  Environment Harnessは静的な環境をラップして、基礎となるロジックを変更することなく振る舞いを再構築する。 EnvHarnessは様々な領域にまたがって適用され、すべての再形環境が元の検証元を保持する。 EnvRiggerはターゲットポリシーをブラックボックスとして扱い、その実行軌跡を観察して、診断された欠陥をターゲットとしたEnvHarnessコンポーネントを合成する。
  論文  参考訳（メタデータ） (2026-08-20T10:42:06Z)
• From Noise to Control: Parameterized Diffusion Policies [54.941343992110426]
  本研究では,学習行動多様体に埋め込まれた連続パラメータに条件付き拡散ポリシーを学習するためのフレームワークを提案する。 政策重みを更新することなく、既知の戦略間の円滑な距離と、新しい制約への効率的な適応を可能にする。
  論文  参考訳（メタデータ） (2026-05-29T20:21:50Z)
• PACE: Parameter Change for Unsupervised Environment Design [22.066871262223312]
  教師なし環境設計は、適応的な学習環境を形成することで強化学習の一般化を改善するための有望なパラダイムを提供する。 既存のUED手法では、後悔や値ベースのエラー、あるいはモンテカルロなど、バイアス、高い分散、あるいはかなりの計算オーバーヘッドに悩まされている間接的なプロキシ信号を用いて環境を評価する。 本研究では,その環境に対するトレーニングによって引き起こされる政策変化を通じて環境評価を行い,実際の学習過程において環境選択を直接基礎とする変化環境設計(PACE)を提案する。
  論文  参考訳（メタデータ） (2026-05-02T10:07:59Z)
• ProAct: Agentic Lookahead in Interactive Environments [56.50613398808361]
  ProActは、2段階のトレーニングパラダイムを通じて、エージェントが正確なルックアヘッド推論を内部化することを可能にするフレームワークである。 そこでは,環境に基づく探索から得られたトラジェクトリの微調整をエージェントが行うGLAD(Grounded LookAhead Distillation)を紹介する。 また,政策段階のアルゴリズムを改良する補助値推定器であるモンテカルロ批判(MC-Critic)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T05:45:16Z)
• Capturing Visual Environment Structure Correlates with Control Performance [62.69063991419694]
  既存のプロキシメトリクスは、ビジュアル世界の狭い側面をキャプチャする表現能力に重点を置いている。 事前学習された視覚エンコーダが環境状態の復号化を支援するかを測定する。 この推定精度は、下流の政策性能と強く相関していることを示す。
  論文  参考訳（メタデータ） (2026-02-04T18:59:12Z)
• Learning Policy Representations for Steerable Behavior Synthesis [80.4542176039074]
  マルコフ決定プロセス(MDP)を前提として,テスト時の行動ステアリングを促進するために,さまざまなポリシーの表現を学習する。 これらの表現は、セットベースアーキテクチャを用いて、様々なポリシーに対して均一に近似できることを示す。 変動生成法を用いてスムーズな潜伏空間を導出し,さらにコントラスト学習により、潜伏距離が値関数の差と一致するように形成する。
  論文  参考訳（メタデータ） (2026-01-29T21:52:06Z)
• On the development of a practical Bayesian optimisation algorithm for expensive experiments and simulations with changing environmental conditions [0.0]
  この記事では、ベイズ最適化を環境変化におけるシステムの最適化に拡張する。 提案アルゴリズムは,8つの制御可能かつ1つの環境パラメータを持つ風力発電シミュレータに適用する。
  論文  参考訳（メタデータ） (2024-02-05T13:46:04Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Constrained Environment Optimization for Prioritized Multi-Agent Navigation [11.473177123332281]
  本稿では,システムレベルの最適化問題において,環境を決定変数として考えることを目的とする。 本稿では,非優先順位付け・優先度付けされた環境最適化の新たな問題を提案する。 完全性を確保しつつ環境が変化しうる条件を, 形式的証明を通じて示す。
  論文  参考訳（メタデータ） (2023-05-18T18:55:06Z)
• Environment Optimization for Multi-Agent Navigation [11.473177123332281]
  本研究の目的は,システムレベルの最適化問題において,環境を決定変数として考えることである。 完全性を確保しつつ環境が変化しうる条件を, 形式的証明を通じて示す。 幅広い実装シナリオに対応するため、オンラインとオフラインの両方の最適化と、離散環境と連続環境の両方の表現を含む。
  論文  参考訳（メタデータ） (2022-09-22T19:22:16Z)
• Federated Reinforcement Learning with Environment Heterogeneity [30.797692838836277]
  我々は,フェデレート強化学習(FedRL)問題について検討し,エージェントと環境相互作用の過程で収集した軌跡を共有せずに,$n$エージェントがひとつの方針を協調的に学習する。 本稿では,2つの連合RLアルゴリズム, textttQAvg と textttPAvg を提案する。
  論文  参考訳（メタデータ） (2022-04-06T07:21:00Z)
• Emergent Complexity and Zero-shot Transfer via Unsupervised Environment Design [121.73425076217471]
  本研究では,未知のパラメータを持つ環境を提供するUnsupervised Environment Design (UED)を提案する。 プロタゴニスト・アンタゴニストによるレグレト環境デザイン(PAIRED)と呼ぶ。 実験により, PAIREDは複雑な環境の自然なカリキュラムを生産し, PAIREDエージェントは, 高度に新規な環境での試験において, 高いゼロショット転送性能が得られることを示した。
  論文  参考訳（メタデータ） (2020-12-03T17:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。