論文の概要: Dynamics Models for Offline Hyperparameter Selection in Real-World RL
- arxiv url: http://arxiv.org/abs/2608.11349v1
- Date: Tue, 11 Aug 2026 18:54:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.355156
- Title: Dynamics Models for Offline Hyperparameter Selection in Real-World RL
- Title（参考訳）: 実世界RLにおけるオフラインハイパーパラメータ選択のためのダイナミクスモデル
- Abstract要約: 本稿では, 都市水処理工場におけるキャリブレーションモデルの適用例を示す。
以上の結果から,これらのモデルが現実的な長軸ロールアウトを発生し,有意義なハイパーパラメータ感度傾向を回復できることが示唆された。
本研究は, 実環境におけるRL展開を支援するために, オフラインダイナミクスモデルを用いた概念実証である。
- 参考スコア（独自算出の注目度）: 18.05255852818742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A key obstacle to deploying reinforcement learning in real-world systems is hyperparameter selection, particularly when simulators are unavailable and online experimentation is costly. Prior work has proposed calibration models trained on offline data to approximate environment dynamics and enable offline hyperparameter selection, but these methods have so far been evaluated only in simple simulated settings. In this paper, we present the first application of calibration models in a real-world industrial setting: a municipal water treatment plant. We evaluate several calibration model approaches, including a k-nearest neighbors model with a Laplacian distance metric, on high-dimensional, non-stationary sensor data for nexting prediction tasks. Our results show that these models can generate realistic long-horizon rollouts and recover meaningful hyperparameter sensitivity trends. We further examine how calibration models scale to year-long datasets, how they support the selection of fine-tuning learning rates for pre-trained agents, and how robust they are under distribution shift. Overall, our findings provide a proof of concept for using offline dynamics models to support RL deployment in real-world environments, while highlighting important practical challenges for future work.
- Abstract（参考訳）: 実世界のシステムで強化学習を展開する上で重要な障害はハイパーパラメータの選択である。
これまで、オフラインデータに基づいてトレーニングされたキャリブレーションモデルを提案し、環境力学を近似し、オフラインのハイパーパラメータ選択を可能にしてきたが、これらの手法は単純なシミュレートされた設定でのみ評価されてきた。
本稿では,都市水処理工場におけるキャリブレーションモデルの適用例を示す。
我々は、次の予測タスクのための高次元非定常センサデータに基づいて、ラプラシア距離距離の k-アレスト近傍モデルを含むいくつかのキャリブレーションモデルアプローチを評価する。
以上の結果から,これらのモデルが現実的な長軸ロールアウトを発生し,有意義なハイパーパラメータ感度の傾向を回復できることが示唆された。
さらに、キャリブレーションモデルが1年間のデータセットにどのようにスケールするか、事前訓練されたエージェントの微調整学習率の選択をどのようにサポートするか、分散シフトの際の頑健さについて検討する。
本研究は, 実環境におけるRL展開を支援するために, オフラインダイナミックスモデルを用いた概念実証を行うとともに, 今後の作業における重要な実践的課題を浮き彫りにしている。
関連論文リスト
- Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration [88.7332439088792]
大規模言語モデル(LLM)に対する検証可能な報酬(RLVR)による強化学習のスケーリングが,効果的なトレーニングパラダイムとして登場した。
我々は低ランク軌跡のtextbfNonlinear textbfExtrapolation(textbfNExt)を提案する。
計算オーバーヘッドを約37.5%削減し,RLVRアルゴリズムやタスクとの互換性を維持した。
論文 参考訳（メタデータ） (2026-04-13T13:28:12Z) - Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [79.2162092822111]
我々は,一連のナビゲーションタスクにおいて,強化学習(RL)と制御に基づく手法を体系的に評価する。
我々は、JEPA(Joint Embedding Predictive Architecture)を使用して、潜在ダイナミクスモデルを使用し、それを計画に使用します。
その結果,モデルベースプランニングではレイアウトが不明瞭になるのに対して,モデルフリーのRLは高品質なデータから恩恵を受けることがわかった。
論文 参考訳（メタデータ） (2025-02-20T18:39:41Z) - Paraformer: Parameterization of Sub-grid Scale Processes Using Transformers [6.622831012413507]
我々は、気候パラメータ化のために作成された最大のデータセットであるClimSim上で、"メモリ対応"トランスフォーマーベースのモデルを提案する。
この結果から,提案モデルがサブグリッドスケール変数の複雑な非線形依存性を捕捉できることが示唆された。
論文 参考訳（メタデータ） (2024-12-21T20:21:52Z) - SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。
本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。
本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文 参考訳（メタデータ） (2024-09-10T16:44:47Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot
Learning [52.101643259906915]
本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。
既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。
本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
論文 参考訳（メタデータ） (2024-01-06T21:04:31Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Environment Transformer and Policy Optimization for Model-Based Offline
Reinforcement Learning [25.684201757101267]
本研究では環境変換器と呼ばれる不確実性を考慮したシーケンスモデリングアーキテクチャを提案する。
遷移力学と報酬関数の正確なモデリングにより、環境変換器は任意の計画、動的プログラミング、オフラインRLのためのポリシー最適化アルゴリズムと組み合わせることができる。
論文 参考訳（メタデータ） (2023-03-07T11:26:09Z) - No More Pesky Hyperparameters: Offline Hyperparameter Tuning for RL [28.31529154045046]
オフラインデータのログからハイパーパラメータをチューニングするための新しい手法を提案する。
まず, キャリブレーションモデルと呼ばれるオフラインデータから環境モデルを学び, キャリブレーションモデルにおける学習をシミュレートする。
我々は,その方法が有効でいつ失敗するかを,様々な設定で実証的に調べる。
論文 参考訳（メタデータ） (2022-05-18T04:26:23Z) - Iterative Semi-parametric Dynamics Model Learning For Autonomous Racing [2.40966076588569]
本稿では,ニューラルネットワークを用いた反復学習セミパラメトリックモデルを自律レースの課題に適用する。
我々のモデルは純粋にパラメトリックモデルよりも正確に学習でき、純粋に非パラメトリックモデルよりもより一般化できることを示す。
論文 参考訳（メタデータ） (2020-11-17T16:24:10Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳（メタデータ） (2020-11-16T08:24:34Z) - From calibration to parameter learning: Harnessing the scaling effects
of big data in geoscientific modeling [2.9897531698031403]
本稿では,入力とパラメータのグローバルマッピングを効率的に学習する,微分可能なパラメータ学習フレームワークを提案する。
トレーニングデータが増加するにつれて、dPLはより良いパフォーマンス、より物理的コヒーレンス、より良い一般化性を達成する。
土壌の水分と流水から学んだ例を示し,dPLが既存の進化的・地域的手法を著しく上回った。
論文 参考訳（メタデータ） (2020-07-30T21:38:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。