論文の概要: Reinforcement Learning for Combining Search Methods in the Calibration
of Economic ABMs
- arxiv url: http://arxiv.org/abs/2302.11835v2
- Date: Wed, 10 May 2023 20:08:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 18:00:31.483358
- Title: Reinforcement Learning for Combining Search Methods in the Calibration
of Economic ABMs
- Title(参考訳): 経済ABMの校正における探索手法の組み合わせによる強化学習
- Authors: Aldo Glielmo, Marco Favorito, Debmallya Chanda and Domenico Delli
Gatti
- Abstract要約: 我々は、よく知られたマクロ経済ABMのキャリブレーションにおける多くの探索手法を実データ上でベンチマークする。
ランダム・フォレスト・サロゲートに基づく手法は特に効率的であることが判明した。
本研究では,検索手法を自動的に選択し,組み合わせるための強化学習手法を提案する。
- 参考スコア(独自算出の注目度): 2.021175152213487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Calibrating agent-based models (ABMs) in economics and finance typically
involves a derivative-free search in a very large parameter space. In this
work, we benchmark a number of search methods in the calibration of a
well-known macroeconomic ABM on real data, and further assess the performance
of "mixed strategies" made by combining different methods. We find that methods
based on random-forest surrogates are particularly efficient, and that
combining search methods generally increases performance since the biases of
any single method are mitigated. Moving from these observations, we propose a
reinforcement learning (RL) scheme to automatically select and combine search
methods on-the-fly during a calibration run. The RL agent keeps exploiting a
specific method only as long as this keeps performing well, but explores new
strategies when the specific method reaches a performance plateau. The
resulting RL search scheme outperforms any other method or method combination
tested, and does not rely on any prior information or trial and error
procedure.
- Abstract(参考訳): 経済学と金融学におけるエージェントベースモデル(ABM)の校正は通常、非常に大きなパラメータ空間における微分自由探索を伴う。
本研究では、実データ上でよく知られたマクロ経済ABMの校正における多くの探索手法をベンチマークし、異なる手法を組み合わせた「混合戦略」の性能を更に評価する。
ランダム・フォレスト・サロゲートに基づく手法は特に効率的であり, 探索手法の組み合わせは, 一つの手法のバイアスが軽減されるため, 一般に性能が向上することがわかった。
これらの観察から,キャリブレーション実行中の探索手法を自動的に選択し,結合する強化学習(rl)方式を提案する。
RLエージェントは、それが正常に動作し続ける限りのみ、特定のメソッドを利用し続けるが、特定のメソッドがパフォーマンス高原に達すると、新しい戦略を探索する。
その結果得られるrl検索方式は、テストされた他の方法やメソッドの組み合わせよりも優れており、事前の情報や試行やエラー手順に依存しない。
関連論文リスト
- Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳(メタデータ) (2023-05-29T17:25:26Z) - Predicted Embedding Power Regression for Large-Scale Out-of-Distribution
Detection [77.1596426383046]
本研究では,学習過程において学習したラベル分布に基づいて,予測されたクラスラベルの確率を計算する手法を開発した。
提案手法は,計算コストの最小化のみで,現在の最先端手法よりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2023-03-07T18:28:39Z) - Deep Reinforcement Learning for Exact Combinatorial Optimization:
Learning to Branch [13.024115985194932]
本稿では、強化学習(RL)パラダイムを用いた最適化において、データラベリングと推論の問題を解決するための新しいアプローチを提案する。
我々は模倣学習を用いてRLエージェントをブートストラップし、PPO(Proximal Policy)を使用してグローバルな最適なアクションを探索する。
論文 参考訳(メタデータ) (2022-06-14T16:35:58Z) - Reinforcement Learning for Branch-and-Bound Optimisation using
Retrospective Trajectories [72.15369769265398]
機械学習は分岐のための有望なパラダイムとして登場した。
分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。
我々は現在最先端のRL分岐アルゴリズムを3~5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
論文 参考訳(メタデータ) (2022-05-28T06:08:07Z) - Reward Uncertainty for Exploration in Preference-based Reinforcement
Learning [88.34958680436552]
好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。
我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。
実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
論文 参考訳(メタデータ) (2022-05-24T23:22:10Z) - Scalable Deep Reinforcement Learning Algorithms for Mean Field Games [60.550128966505625]
平均フィールドゲーム (MFGs) は、非常に多くの戦略エージェントを持つゲームを効率的に近似するために導入された。
近年,モデルフリー強化学習(RL)手法を用いて,MFGの学習均衡の課題が活発化している。
MFGを解くための既存のアルゴリズムは戦略や$q$-valuesのような近似量の混合を必要とする。
本稿では,この欠点に対処する2つの手法を提案する。まず,歴史データの蒸留からニューラルネットワークへの混合戦略を学習し,Factitious Playアルゴリズムに適用する。
2つ目はオンライン混合方式である。
論文 参考訳(メタデータ) (2022-03-22T18:10:32Z) - Discrete Simulation Optimization for Tuning Machine Learning Method
Hyperparameters [0.0]
機械学習(ML)手法は、画像認識、製品レコメンデーション、財務分析、診断、予測保守など、ほとんどの技術領域で使われている。
ML手法を実装する上で重要な側面は,検討中の手法の性能を最大化するために,ML手法の学習過程を制御することである。
本研究では、ランキングと選択(R&S)やランダム検索といった離散的なシミュレーション最適化手法を実演する。
論文 参考訳(メタデータ) (2022-01-16T06:01:58Z) - Robust Predictable Control [149.71263296079388]
提案手法は,従来の手法よりもはるかに厳密な圧縮を実現し,標準的な情報ボトルネックよりも最大5倍高い報酬が得られることを示す。
また,本手法はより堅牢で,新しいタスクをより一般化したポリシーを学習することを示す。
論文 参考訳(メタデータ) (2021-09-07T17:29:34Z) - A Policy Efficient Reduction Approach to Convex Constrained Deep
Reinforcement Learning [2.811714058940267]
本稿では,最小基準点法(MNP)を一般化した条件勾配型アルゴリズムを提案する。
提案手法は,メモリコストを桁違いに削減し,その性能と効率を両立させる。
論文 参考訳(メタデータ) (2021-08-29T20:51:32Z) - Efficient Active Search for Combinatorial Optimization Problems [1.6543719822033436]
能動探索により、学習したモデルが、トレーニング中に見られたものよりもはるかに大きいインスタンスを効果的に解決できることが示される。
提案手法は、与えられたモデルの探索性能を大幅に向上する簡単な方法を提供し、ルーティング問題に対する最先端の機械学習手法より優れている。
論文 参考訳(メタデータ) (2021-06-09T15:08:03Z) - On the Efficiency of K-Means Clustering: Evaluation, Optimization, and
Algorithm Selection [20.900296096958446]
本稿では,高速k平均クラスタリングのためのロイドのアルゴリズムを高速化する既存の手法について,徹底的な評価を行う。
UniK内では、複数のデータセット上での複数のパフォーマンス指標を用いて、既存のメソッドの長所と短所を徹底的に評価する。
我々は、より積極的な刈り取りのために複数の既存手法を効果的にハイブリダイズする、UniK上の最適化アルゴリズムを導出する。
論文 参考訳(メタデータ) (2020-10-13T19:45:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。