論文の概要: Learning When to Refine: Long-Horizon Reinforcement Learning for Budgeted Neural-Operator PDE Solvers

• arxiv url: http://arxiv.org/abs/2610.06883v1
• Date: Sat, 19 Sep 2026 12:17:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 16:33:44.534938
• Title: Learning When to Refine: Long-Horizon Reinforcement Learning for Budgeted Neural-Operator PDE Solvers
• Title（参考訳）: 再定義の学習: 予算型ニューラル演算型PDE解の長期強化学習
• Abstract要約: PDEに対する適応型ニューラル演算解法を定式化する。 グローバル・ニューラル・オペレーターが全フィールドを前進させ、局所オペレーターがパッチワイド残差補正を提案し、セットアウェア・セレクタがどこで精製するかを選択する。 固定改良予算の下では, 局所補正の値は, 自己回帰軌道に対する下流効果に依存することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural operators provide fast surrogates for time-dependent PDEs, but autoregressive deployment creates a refinement-allocation problem: prediction errors vary over space and time, while only a finite number of local corrections can be committed along a trajectory. We formulate this as budgeted adaptive neural-operator solving. A global Fourier neural operator advances the full field, a local operator proposes patch-wise residual corrections, and a set-aware selector chooses where to refine. A macro policy decides when and how much of the remaining refinement budget to spend. We introduce rollout-verified policy improvement (RV-PI), which evaluates feasible refinement counts through actual continuation rollouts of the learned PDE solver, converts long-horizon advantages into conservative policy targets, and accepts an update only when held-out trajectory error improves. On the shallow-water benchmark with a 32-intervention budget, RV-PI achieves a three-seed mean trajectory relative L2 error of 0.6910, improving over immediate-only policy improvement by 5.37% and RandomMacro by 2.41%. On the forcing-driven Brusselator benchmark with a 76-intervention budget, RV-PI attains 0.09954, improving over immediate-only policy improvement by 2.31% and RandomMacro by 5.32%. These results show that, under a fixed refinement budget, the value of a local correction depends on its downstream effect on the autoregressive trajectory, not only on its immediate error reduction.
• Abstract（参考訳）: ニューラル作用素は、時間依存のPDEに対して高速なサロゲートを提供するが、自己回帰的展開は、空間と時間によって予測エラーが変化する一方、軌道に沿って有限個の局所的な修正しか行えないという、洗練された割り当て問題を生成する。 我々はこれを適応型ニューラル演算解として定式化する。 グローバルフーリエニューラル演算子は全フィールドを前進させ、局所演算子はパッチワイド残差補正を提案し、セットアウェアセレクタはどこで精製するかを選択する。 マクロ政策は、残りの改良予算のいつ、どのくらいを費やすかを決定する。 本稿では,学習したPDEソルバの実際の継続ロールアウトを通じて実現可能な改善回数を評価し,長期的メリットを保守的政策目標に変換するロールアウト検証ポリシー改善(RV-PI)を提案する。 32干渉予算の浅海ベンチマークでは、RV-PIは平均L2誤差が0.6910で、即時のみの政策改善が5.37%、RandomMacroが2.41%向上した。 76インターベンション予算の強制駆動型ブルセラのベンチマークでは、RV-PIは0.09954に達し、即時のみの政策改善が2.31%、RandomMacroが5.32%向上した。 これらの結果から, 局所補正の値は, 即時誤差低減だけでなく, 自己回帰軌道に対する下流効果に依存することが明らかとなった。

関連論文リスト

• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• ARC-STAR: Auditable Post-Hoc Correction for PDE Foundation Models [47.9430487327673]
  ARC-STARは修正を3段階にまとめる: グローバルな修正器は広い解法バイアスを除去し、ブロックワイドな局所精錬器はポストグロバル残差を浄化し、展開時にはラベルフリースコアは計算予算の下でハイリスクなブロックに精算する。 ARC-STARは、全ての細胞で生ポセイドンよりも少なくとも36倍の速度ロールアウト誤差を減少させる唯一の方法である。
  論文  参考訳（メタデータ） (2026-05-21T09:26:16Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)
• dTRPO: Trajectory Reduction in Policy Optimization of Diffusion Large Language Models [71.26391195427878]
  拡散大言語モデル(dLLM)は、言語生成の新しいパラダイムを導入する。 本研究は,軌道確率計算のコストを削減し,dLLMのポリシー最適化を改善することを目的とする。 我々は、7B dLLMのdTRPOを命令追従と推論のベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-19T11:55:52Z)
• Robust Regularized Policy Iteration under Transition Uncertainty [6.7431287237221085]
  我々は、オフラインRLをロバストなポリシー最適化として定式化し、遷移カーネルを不確実性集合内の決定変数として扱う。 本稿では、抽出可能な最大最小二レベル目標を、抽出可能なKL正規化サロゲートに置き換えるロバスト正規化ポリシーイテレーション(RRPI)を提案する。 D4RLベンチマークの実験では、RRPIは高い平均性能を示し、最近のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-03-10T08:18:27Z)
• On GRPO Collapse in Search-R1: The Lazy Likelihood-Displacement Death Spiral [59.14787085809595]
  この障害を引き起こす中核的なメカニズムとしてLazy Likelihood Displacement(LLD)を同定する。 LDDは早期に出現し、自己強化性LDDデススパイラル(LDD Death Spiral)を引き起こす。 本稿では,GRPO のための軽量な確率保存正則化 LLDS を提案する。
  論文  参考訳（メタデータ） (2025-12-03T19:41:15Z)
• Slow-Fast Policy Optimization: Reposition-Before-Update for LLM Reasoning [45.51804571136028]
  強化学習(RL)は、大規模言語モデル(LLM)における推論の強化の中心となっている。 Slow-Fast Policy Optimization (SFPO)は,各ステップを3段階に分解することで,これらの制限に対処する,シンプルかつ効率的なフレームワークである。 SFPOは安定性を継続的に改善し、ロールアウトを低減し、推論RLトレーニングの収束を加速する。
  論文  参考訳（メタデータ） (2025-10-05T07:22:54Z)
• Variance Penalized On-Policy and Off-Policy Actor-Critic [60.06593931848165]
  本稿では,平均値と変動値の両方を含むパフォーマンス基準を最適化する,オン・ポリティィおよびオフ・ポリティィ・アクター・クリティカルなアルゴリズムを提案する。 提案手法は, アクタ批判的かつ事前の分散-ペナライゼーションベースラインに匹敵するだけでなく, リターンのばらつきが低いトラジェクトリも生成する。
  論文  参考訳（メタデータ） (2021-02-03T10:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。