論文の概要: A reinforcement learning strategy for p-adaptation in high order solvers
- arxiv url: http://arxiv.org/abs/2306.08292v1
- Date: Wed, 14 Jun 2023 07:01:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 20:06:32.389122
- Title: A reinforcement learning strategy for p-adaptation in high order solvers
- Title（参考訳）: 高次解法におけるp適応のための強化学習戦略
- Authors: David Huergo, Gonzalo Rubio, Esteban Ferrer
- Abstract要約: 強化学習(Reinforcement Learning, RL)は、意思決定プロセスを自動化するための有望なアプローチである。
本稿では,高次解法を用いる場合の計算メッシュの順序を最適化するためのRL手法の適用について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) has emerged as a promising approach to automating
decision processes. This paper explores the application of RL techniques to
optimise the polynomial order in the computational mesh when using high-order
solvers. Mesh adaptation plays a crucial role in improving the efficiency of
numerical simulations by improving accuracy while reducing the cost. Here,
actor-critic RL models based on Proximal Policy Optimization offer a
data-driven approach for agents to learn optimal mesh modifications based on
evolving conditions.
The paper provides a strategy for p-adaptation in high-order solvers and
includes insights into the main aspects of RL-based mesh adaptation, including
the formulation of appropriate reward structures and the interaction between
the RL agent and the simulation environment. We discuss the impact of RL-based
mesh p-adaptation on computational efficiency and accuracy. We test the RL
p-adaptation strategy on a 1D inviscid Burgers' equation to demonstrate the
effectiveness of the strategy. The RL strategy reduces the computational cost
and improves accuracy over uniform adaptation, while minimising human
intervention.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、意思決定プロセスを自動化するための有望なアプローチである。
本稿では,高次解法を用いて計算メッシュの多項式順序を最適化するrl手法の適用について検討する。
メッシュ適応は,コストを低減しつつ精度を向上し,数値シミュレーションの効率を向上させる上で重要な役割を担っている。
ここで、近位ポリシー最適化に基づくアクター-クリティックrlモデルは、エージェントが進化する条件に基づいて最適なメッシュ修正を学ぶためのデータ駆動アプローチを提供する。
本稿では,高次解法におけるp適応戦略を提案し,適切な報酬構造の定式化やrlエージェントとシミュレーション環境との相互作用など,rlベースのメッシュ適応の主な側面について考察する。
RLに基づくメッシュp適応が計算効率と精度に与える影響を論じる。
本研究では,RL p-adaptation strategy をバーガースの 1D Inviscid Burgers 方程式で検証し,この戦略の有効性を実証する。
rl戦略は計算コストを削減し、均一な適応よりも精度を向上させ、人間の介入を最小限に抑える。
関連論文リスト
- Comparison of Model Predictive Control and Proximal Policy Optimization for a 1-DOF Helicopter System [0.7499722271664147]
本研究は,Quanser Aero 2システムに適用された深層強化学習(DRL)アルゴリズムであるモデル予測制御(MPC)とPPOの比較分析を行う。
PPOは上昇時間と適応性に優れており、迅速な応答と適応性を必要とするアプリケーションには有望なアプローチである。
論文 参考訳（メタデータ） (2024-08-28T08:35:34Z) - Reinforcement learning for anisotropic p-adaptation and error estimation in high-order solvers [0.37109226820205005]
強化学習(RL)を用いた高次h/pにおける異方性p適応の自動化と最適化のための新しい手法を提案する。
我々は,シミュレーションを行う際の最小限のオーバーコストを示す,主解法から切り離されたオフライントレーニング手法を開発した。
我々は、局所的な離散化誤差の定量化を可能にする、安価なRLベースの誤差推定手法を導出する。
論文 参考訳（メタデータ） (2024-07-26T17:55:23Z) - Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。
モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。
具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。
また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
論文 参考訳（メタデータ） (2024-05-25T10:45:46Z) - Back to Basics: Revisiting REINFORCE Style Optimization for Learning
from Human Feedback in LLMs [29.505270680223003]
ヒューマンフィードバックからの強化学習の形でのAIアライメントは、ハイパフォーマンスな大規模言語モデルにとって重要な要素として扱われている。
近年,RLHF の RL 部分の正準法としてPPO ( Proximal Policy Optimization) が位置づけられている。
PPO の多くのコンポーネントは RLHF の文脈では不要であり、より単純な REINFORCE スタイルの最適化は PPO と DPO や RAFT のような新たに提案された "RL-free" 手法の両方より優れていることを示す。
論文 参考訳（メタデータ） (2024-02-22T17:52:34Z) - Data-Efficient Task Generalization via Probabilistic Model-based Meta
Reinforcement Learning [58.575939354953526]
PACOH-RLはメタ強化学習(Meta-RL)アルゴリズムである。
既存のMeta-RLメソッドは豊富なメタ学習データを必要とし、ロボット工学などの設定で適用性を制限する。
実験の結果,PACOH-RLはモデルベースRLおよびモデルベースMeta-RLベースラインよりも高い性能を示し,新しい動的条件に適応することがわかった。
論文 参考訳（メタデータ） (2023-11-13T18:51:57Z) - Hybrid Reinforcement Learning for Optimizing Pump Sustainability in
Real-World Water Distribution Networks [55.591662978280894]
本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。
我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。
進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
論文 参考訳（メタデータ） (2023-10-13T21:26:16Z) - A Neuromorphic Architecture for Reinforcement Learning from Real-Valued
Observations [0.34410212782758043]
強化学習(RL)は複雑な環境における意思決定のための強力なフレームワークを提供する。
本稿では,実測値を用いてRL問題を解くための新しいスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-07-06T12:33:34Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:00:09Z) - On Effective Scheduling of Model-based Reinforcement Learning [53.027698625496015]
実データ比率を自動的にスケジュールするAutoMBPOというフレームワークを提案する。
本稿ではまず,政策訓練における実データの役割を理論的に分析し,実際のデータの比率を徐々に高めれば,より優れた性能が得られることを示唆する。
論文 参考訳（メタデータ） (2021-11-16T15:24:59Z) - Combining Pessimism with Optimism for Robust and Efficient Model-Based
Deep Reinforcement Learning [56.17667147101263]
実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。
信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。
本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-18T16:50:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。