論文の概要: Hint assisted reinforcement learning: an application in radio astronomy
- arxiv url: http://arxiv.org/abs/2301.03933v1
- Date: Tue, 10 Jan 2023 12:24:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 17:29:53.497542
- Title: Hint assisted reinforcement learning: an application in radio astronomy
- Title（参考訳）: ヒント支援強化学習:電波天文学への応用
- Authors: Sarod Yatawatta
- Abstract要約: モデル構築の複雑さを緩和する強化学習プロセスの補助として,環境が生み出すヒントを利用することを提案する。
いくつかの環境において, モデルフリー手法と比較して, ヒントを用いることで, サンプル効率が向上することを示す。
- 参考スコア（独自算出の注目度）: 2.4366811507669115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model based reinforcement learning has proven to be more sample efficient
than model free methods. On the other hand, the construction of a dynamics
model in model based reinforcement learning has increased complexity. Data
processing tasks in radio astronomy are such situations where the original
problem which is being solved by reinforcement learning itself is the creation
of a model. Fortunately, many methods based on heuristics or signal processing
do exist to perform the same tasks and we can leverage them to propose the best
action to take, or in other words, to provide a `hint'. We propose to use
`hints' generated by the environment as an aid to the reinforcement learning
process mitigating the complexity of model construction. We modify the soft
actor critic algorithm to use hints and use the alternating direction method of
multipliers algorithm with inequality constraints to train the agent. Results
in several environments show that we get the increased sample efficiency by
using hints as compared to model free methods.
- Abstract（参考訳）: モデルに基づく強化学習は、モデルフリー手法よりもサンプル効率が高いことが証明されている。
一方,モデルベース強化学習におけるダイナミクスモデルの構築は,複雑さを増している。
電波天文学におけるデータ処理タスクは、強化学習自身によって解決されている元の問題は、モデルの作成である。
幸運なことに、ヒューリスティックスや信号処理に基づく多くの手法が同じタスクを実行するために存在し、それらを活用して最良のアクションを提案し、言い換えれば 'hint' を提供することができます。
モデル構築の複雑さを緩和する強化学習プロセスを支援するために,環境が生成した'hints' を用いることを提案する。
我々は,soft actor criticアルゴリズムをヒントを使用するように修正し,不等式制約のある乗算アルゴリズムの交互方向法を用いてエージェントを訓練する。
いくつかの環境において, モデルフリー手法と比較して, ヒントを用いることで, サンプル効率が向上することを示す。
関連論文リスト
- Model-based Policy Optimization using Symbolic World Model [46.42871544295734]
ロボット工学における学習に基づく制御手法の適用は、大きな課題を呈している。
1つは、モデルなし強化学習アルゴリズムがサンプル効率の低い観測データを使用することである。
シンボリック回帰によって生成されるシンボリック表現による遷移ダイナミクスの近似を提案する。
論文 参考訳（メタデータ） (2024-07-18T13:49:21Z) - RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。
提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。
このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文 参考訳（メタデータ） (2023-11-21T21:05:21Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
In-Context Learning (RetICL) のための検索式を提案する。
RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
論文 参考訳（メタデータ） (2023-05-23T20:15:56Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳（メタデータ） (2022-10-31T09:46:26Z) - Deep Active Learning with Noise Stability [24.54974925491753]
ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。
本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。
本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
論文 参考訳（メタデータ） (2022-05-26T13:21:01Z) - Maximum Entropy Model-based Reinforcement Learning [0.0]
この研究は、探索技術とモデルに基づく強化学習を結びつけている。
モデルベースアプローチの特徴を考慮した新しい探索手法を考案した。
また,本手法がモデルベースアルゴリズムDreamerの性能を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2021-12-02T13:07:29Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-31T23:46:32Z) - Sample-efficient reinforcement learning using deep Gaussian processes [18.044018772331636]
強化学習(Reinforcement learning)は、試行錯誤を通じてタスクを完了するためのアクションを制御するためのフレームワークを提供する。
モデルに基づく強化学習効率は、世界力学をシミュレートする学習によって改善される。
合成の深さがモデル複雑性をもたらすのに対して、ダイナミックスに関する事前の知識を取り入れることで、滑らかさと構造がもたらされる、深いガウス過程を導入する。
論文 参考訳（メタデータ） (2020-11-02T13:37:57Z) - Model-Agnostic Explanations using Minimal Forcing Subsets [11.420687735660097]
そこで本研究では,モデル決定に欠かせない最小限のトレーニングサンプルを同定する,モデルに依存しない新しいアルゴリズムを提案する。
本アルゴリズムは,制約付き最適化問題を解くことにより,このような「欠かせない」サンプルの集合を反復的に同定する。
結果から,本アルゴリズムは局所モデルの振る舞いをよりよく理解する上で,効率的かつ容易に記述できるツールであることがわかった。
論文 参考訳（メタデータ） (2020-11-01T22:45:16Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳（メタデータ） (2020-05-16T19:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。