論文の概要: Model-free and Bayesian Ensembling Model-based Deep Reinforcement
Learning for Particle Accelerator Control Demonstrated on the FERMI FEL
- arxiv url: http://arxiv.org/abs/2012.09737v1
- Date: Thu, 17 Dec 2020 16:57:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 14:30:30.566395
- Title: Model-free and Bayesian Ensembling Model-based Deep Reinforcement
Learning for Particle Accelerator Control Demonstrated on the FERMI FEL
- Title（参考訳）: FERMI FELを用いた粒子加速器制御のためのモデルフリー・ベイズ組立モデルに基づく深部強化学習
- Authors: Simon Hirlaender, Niky Bruchon
- Abstract要約: 本稿では,加速物理問題における強化学習の運用レベルでの活用方法を示す。
FERMI FELシステムの強度最適化に適用されるモデルベースとモデルフリー強化学習を比較します。
モデルベースアプローチは、高い表現力とサンプル効率を示す一方、モデルフリーメソッドのパフォーマンスはわずかに優れています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning holds tremendous promise in accelerator controls. The
primary goal of this paper is to show how this approach can be utilised on an
operational level on accelerator physics problems. Despite the success of
model-free reinforcement learning in several domains, sample-efficiency still
is a bottle-neck, which might be encompassed by model-based methods. We compare
well-suited purely model-based to model-free reinforcement learning applied to
the intensity optimisation on the FERMI FEL system. We find that the
model-based approach demonstrates higher representational power and
sample-efficiency, while the asymptotic performance of the model-free method is
slightly superior. The model-based algorithm is implemented in a DYNA-style
using an uncertainty aware model, and the model-free algorithm is based on
tailored deep Q-learning. In both cases, the algorithms were implemented in a
way, which presents increased noise robustness as omnipresent in accelerator
control problems. Code is released in
https://github.com/MathPhysSim/FERMI_RL_Paper.
- Abstract（参考訳）: 強化学習は加速器制御において大きな可能性を秘めている。
本研究の主な目的は, 加速器物理問題に対する運用レベルで, このアプローチをどのように活用できるかを示すことである。
モデルなし強化学習がいくつかの領域で成功したにもかかわらず、サンプル効率は依然としてボトルネックであり、モデルベース手法によって包含される可能性がある。
ferMI FELシステムの強度最適化に応用したモデルベースとモデルフリー強化学習を比較した。
モデルベースアプローチは,高い表現力とサンプル効率を示すが,モデルフリー手法の漸近的な性能は若干優れている。
モデルベースアルゴリズムは不確実性認識モデルを用いてDYNA形式で実装され、モデルフリーアルゴリズムはカスタマイズされた深層Q-ラーニングに基づいている。
いずれの場合もアルゴリズムが実装され、加速器制御問題におけるノイズロバスト性が増大する。
コードはhttps://github.com/MathPhysSim/FERMI_RL_Paperで公開されている。
関連論文リスト
- Physics-Informed Model-Based Reinforcement Learning [19.01626581411011]
従来の強化学習アルゴリズムの欠点の1つは、サンプル効率の低さである。
我々は、その遷移力学と報酬関数のモデルを学び、それを使って想像軌道を生成し、それらをバックプロパゲーションしてポリシーを更新する。
モデルベースRLでは,初期条件に敏感な環境において,モデル精度が重要となることを示す。
また、挑戦的な環境では、物理インフォームドモデルベースRLは最先端のモデルフリーRLアルゴリズムよりも平均回帰性が高いことを示す。
論文 参考訳（メタデータ） (2022-12-05T11:26:10Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳（メタデータ） (2022-10-15T17:57:43Z) - Model-Based Reinforcement Learning with SINDy [0.0]
強化学習(RL)における物理系の非線形力学を規定する新しい手法を提案する。
本手法は,技術モデル学習アルゴリズムの状態よりもはるかに少ないトラジェクトリを用いて,基礎となるダイナミクスを発見することができることを確認した。
論文 参考訳（メタデータ） (2022-08-30T19:03:48Z) - Structured Hammerstein-Wiener Model Learning for Model Predictive
Control [0.2752817022620644]
本稿では,機械学習によって構築されたモデルを用いて最適制御の信頼性を向上させることを目的とする。
本稿では,Hammerstein-Wienerモデルと凸ニューラルネットワークを組み合わせたモデルを提案する。
論文 参考訳（メタデータ） (2021-07-09T06:41:34Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Learning Discrete Energy-based Models via Auxiliary-variable Local
Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。
エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。
本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文 参考訳（メタデータ） (2020-11-10T19:31:29Z) - Macroscopic Traffic Flow Modeling with Physics Regularized Gaussian
Process: Generalized Formulations [5.827236278192557]
本研究では,物理正規化ガウス過程(PRGP)という新しいモデリングフレームワークを提案する。
この新しいアプローチは、物理モデル、すなわち古典的なトラフィックフローモデルをガウスのプロセスアーキテクチャにエンコードし、機械学習のトレーニングプロセスを規則化する。
提案手法の有効性を証明するため,ユタ州I-15高速道路から収集した実世界のデータセットについて実験的検討を行った。
論文 参考訳（メタデータ） (2020-07-14T17:27:23Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳（メタデータ） (2020-05-16T19:18:10Z) - Macroscopic Traffic Flow Modeling with Physics Regularized Gaussian
Process: A New Insight into Machine Learning Applications [14.164058812512371]
本研究では,古典的トラフィックフローモデルを機械学習アーキテクチャにエンコードする,物理正規化機械学習(PRML)という新しいモデリングフレームワークを提案する。
提案手法の有効性を実証するため,ユタ州I-15高速道路から収集した実世界のデータセットについて実験的検討を行った。
論文 参考訳（メタデータ） (2020-02-06T17:22:20Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。