論文の概要: A perspective on fluid mechanical environments for challenges in reinforcement learning

• arxiv url: http://arxiv.org/abs/2605.25011v1
• Date: Sun, 24 May 2026 11:31:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.653787
• Title: A perspective on fluid mechanical environments for challenges in reinforcement learning
• Title（参考訳）: 強化学習の課題に対する流体力学環境の展望
• Authors: Shruti Mishra, Michael Chang, Vamsi Spandan, Shmuel M. Rubinstein,
• Abstract要約: 我々は,正準流体力学問題とそのシミュレーションが,強化学習法の開発に説得力のあるテストベッドとなることを論じる。 本稿では,流体力学環境と相互作用するエージェントの2つの問題記述と,状態と行動空間,報酬関数について述べる。 本研究では,デダルスを模擬した静止環境下での移動を学習するRLエージェントを作成することにより,環境生成におけるデダルスの利用を実証する。
• 参考スコア（独自算出の注目度）: 1.7298004799434603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the challenge of developing agents that efficiently interact with high-dimensional, evolving environments, towards a view of practical reinforcement learning (RL) agents interacting with open worlds, of which they witness and affect only a small part. We argue that canonical fluid mechanics problems, and their simulations, present a compelling testbed for the development of such methods. These problems arise in nonlinear instabilities, where small disturbances can grow to transform the dynamics of a system. Nonlinear instabilities represent several open scientific challenges with industrial applications -- the droplet breakup of a liquid jet, mixing at an interface between two fluids, and the appearance of unusually tall rogue waves in the ocean. In these settings, agents may leverage preserved representations across the changing dynamics to learn efficiently. We present two problem descriptions of agents interacting with a fluid mechanical environment, and describe the state and action spaces, and reward functions, for these agents. For these examples, we specify the aspects of the environment which are nonstationary and the preserved invariances. We note Dedalus and JAX-CFD as open-source simulators that can be used for the development of reinforcement learning methods (Burns et al., 2016; Kochkov et al., 2021)) We demonstrate the use of Dedalus for environment generation by creating RL agents that learn to navigate in a stationary environment that is simulated using Dedalus. This sets the stage for future development of RL agents that learn to meaningfully interact with simulated environments that represent scientific challenges in natural and industrial flows.
• Abstract（参考訳）: オープンワールドと相互作用する実践的強化学習(RL)エージェントの観点から,高次元で進化する環境と効率的に相互作用するエージェントを開発する上での課題について考察する。 我々は、正準流体力学問題とそのシミュレーションが、そのような手法の開発に説得力のあるテストベッドとなることを論じる。 これらの問題は、システムのダイナミクスを変えるために小さな乱れが成長する非線形不安定性に生じる。 非線形不安定性は、液体ジェットの液滴分裂、2つの流体の界面で混合し、海洋に異常に高いローグ波が出現するなど、産業応用におけるいくつかのオープンな科学的課題を表している。 これらの設定では、エージェントは変化するダイナミックスにまたがって保存された表現を活用して効率的に学習することができる。 本稿では,流体力学環境と相互作用するエージェントの2つの問題記述と,状態と行動空間,報酬関数について述べる。 これらの例では、非定常な環境の側面と保存された不変性を指定する。 Dedalus と JAX-CFD をオープンソースシミュレータとして用いて,強化学習手法の開発に使用することができる(Burns et al , 2016; Kochkov et al , 2021)。 このことは、自然と産業のフローにおける科学的課題を表すシミュレートされた環境と有意義に相互作用することを学ぶRLエージェントの将来の発展の舞台となる。

関連論文リスト

• Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning [62.499592503950026]
  大規模言語モデル(LLM)は、ツールや環境とのマルチターンインタラクションを必要とする複雑なタスクを実行するために、自律エージェントに権限を与えている。 完全合成環境生成パイプラインであるエージェント・ワールド・モデル(AWM)を提案する。 私たちは、エージェントがリッチなツールセットと対話できる、毎日のシナリオをカバーする1,000の環境にスケールします。
  論文  参考訳（メタデータ） (2026-02-10T18:55:41Z)
• From Pheromones to Policies: Reinforcement Learning for Engineered Biological Swarms [0.0]
  本研究では, フェロモンを介するセロモン凝集と強化学習(RL)の理論的等価性を確立する。 我々は,フェロモンが数学的に相互学習の更新を反映していることを示し,捕食作業を行う線虫群をモデル化した。 この結果から, 環境信号が外部メモリとして機能する分散RLプロセスは, スティグマイシン系が本質的にコード化されていることが示唆された。
  論文  参考訳（メタデータ） (2025-09-24T13:16:35Z)
• MarineFormer: A Spatio-Temporal Attention Model for USV Navigation in Dynamic Marine Environments [3.669739954510407]
  局所流れ場計測を取り入れることによって,問題の性質が根本的に変化し,解決不可能なナビゲーションシナリオがトラクタブルなものに変換されることを示す。 センサ融合のための空間的注意と時間的注意を統合したトランスフォーマーベースのポリシーアーキテクチャであるtextbfMarineFormer を提案する。
  論文  参考訳（メタデータ） (2024-10-17T18:57:15Z)
• HAZARD Challenge: Embodied Decision Making in Dynamically Changing Environments [93.94020724735199]
  HAZARDは、火災、洪水、風などの3つの予期せぬ災害シナリオで構成されている。 このベンチマークにより、さまざまなパイプラインで自律エージェントの意思決定能力を評価することができる。
  論文  参考訳（メタデータ） (2024-01-23T18:59:43Z)
• INTAGS: Interactive Agent-Guided Simulation [4.04638613278729]
  マルチエージェントシステム(MAS)を含む多くのアプリケーションでは、実稼働に先立って、実験的な(Exp)自律エージェントを高忠実度シミュレータでテストすることが必須である。 本稿では,ExpエージェントとBGエージェントのライブインタラクションによって評価される実システムと合成マルチエージェントシステムとを区別する指標を提案する。 InTAGSを用いてシミュレータのキャリブレーションを行い、現状のWasserstein Generative Adversarial Networkアプローチと比較して、より現実的な市場データを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-09-04T19:56:18Z)
• FluidLab: A Differentiable Environment for Benchmarking Complex Fluid Manipulation [80.63838153351804]
  複雑な流体力学を含む多種多様な操作タスクを備えたシミュレーション環境であるFluidLabを紹介する。 私たちのプラットフォームの中心には、GPU加速シミュレーションと勾配計算を提供する、完全に微分可能な物理シミュレータがあります。 微分可能物理学と組み合わせたいくつかのドメイン固有最適化スキームを提案する。
  論文  参考訳（メタデータ） (2023-03-04T07:24:22Z)
• OPEn: An Open-ended Physics Environment for Learning Without a Task [132.6062618135179]
  オープンエンドな物理環境で学んだ世界のモデルが、特定のタスクを伴わずに、下流の物理推論タスクに再利用できるかどうかについて検討する。 我々は,OPEn(Open-ended Physics ENvironment)のベンチマークを構築し,この環境における学習表現をテストするためのいくつかのタスクを明示的に設計する。 その結果、教師なしのコントラスト学習を表現学習に用いたエージェントと、探索のためのインパクト駆動学習が最良の結果となった。
  論文  参考訳（メタデータ） (2021-10-13T17:48:23Z)
• Emergent Complexity and Zero-shot Transfer via Unsupervised Environment Design [121.73425076217471]
  本研究では,未知のパラメータを持つ環境を提供するUnsupervised Environment Design (UED)を提案する。 プロタゴニスト・アンタゴニストによるレグレト環境デザイン(PAIRED)と呼ぶ。 実験により, PAIREDは複雑な環境の自然なカリキュラムを生産し, PAIREDエージェントは, 高度に新規な環境での試験において, 高いゼロショット転送性能が得られることを示した。
  論文  参考訳（メタデータ） (2020-12-03T17:37:01Z)
• Variational Dynamic for Self-Supervised Exploration in Deep Reinforcement Learning [12.76337275628074]
  本研究では,条件付き変分推論に基づく変動力学モデルを提案し,多モード性および生成性をモデル化する。 環境遷移の負の対数類似度の上界を導出し、その上界を探査の本質的な報酬として利用する。 提案手法は,最先端の環境モデルに基づく探索手法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-17T09:54:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。