論文の概要: Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2005.13778v1
• Date: Thu, 28 May 2020 05:02:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-27 04:26:11.208664
• Title: Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning
• Title（参考訳）: サンプル効率強化学習のための勾配マッチングによるドメイン知識の統合
• Authors: Parth Chadha
• Abstract要約: 本研究では,モデルフリー学習者を支援するために,ダイナミックスからの目標勾配情報を活用することで,サンプル効率を向上させる勾配マッチングアルゴリズムを提案する。 本稿では,モデルに基づく学習者からの勾配情報と,抽象的な低次元空間におけるモデル自由成分とをマッチングする手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-free deep reinforcement learning (RL) agents can learn an effective policy directly from repeated interactions with a black-box environment. However in practice, the algorithms often require large amounts of training experience to learn and generalize well. In addition, classic model-free learning ignores the domain information contained in the state transition tuples. Model-based RL, on the other hand, attempts to learn a model of the environment from experience and is substantially more sample efficient, but suffers from significantly large asymptotic bias owing to the imperfect dynamics model. In this paper, we propose a gradient matching algorithm to improve sample efficiency by utilizing target slope information from the dynamics predictor to aid the model-free learner. We demonstrate this by presenting a technique for matching the gradient information from the model-based learner with the model-free component in an abstract low-dimensional space and validate the proposed technique through experimental results that demonstrate the efficacy of this approach.
• Abstract（参考訳）: モデルフリー深部強化学習(RL)エージェントはブラックボックス環境との繰り返し相互作用から直接効果的なポリシーを学習することができる。 しかし実際には、アルゴリズムは学習と一般化のために大量のトレーニング経験を必要とすることが多い。 さらに、古典的なモデルなし学習は状態遷移タプルに含まれるドメイン情報を無視する。 一方、モデルに基づくRLは、経験から環境のモデルを学習しようと試みており、かなりサンプル効率が良いが、不完全な力学モデルのため、非常に大きな漸近バイアスに悩まされている。 本稿では,モデルフリー学習者を支援するために,動的予測器の目標勾配情報を利用して,サンプル効率を向上させる勾配マッチングアルゴリズムを提案する。 本稿では,抽象的低次元空間におけるモデルベース学習者からの勾配情報をモデルフリー成分とマッチングする手法を示し,提案手法の有効性を示す実験結果を用いて検証する。

関連論文リスト

• Model-based Policy Optimization using Symbolic World Model [46.42871544295734]
  ロボット工学における学習に基づく制御手法の適用は、大きな課題を呈している。 1つは、モデルなし強化学習アルゴリズムがサンプル効率の低い観測データを使用することである。 シンボリック回帰によって生成されるシンボリック表現による遷移ダイナミクスの近似を提案する。
  論文  参考訳（メタデータ） (2024-07-18T13:49:21Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Gradient Surgery for One-shot Unlearning on Generative Model [0.989293617504294]
  我々は、深層生成モデルに影響を及ぼすデータを取り除くための、単純で効果的なアプローチを導入する。 マルチタスク学習における作業に触発されて,サンプル間の影響の相互作用を規則化する勾配の操作を提案する。
  論文  参考訳（メタデータ） (2023-07-10T13:29:23Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Improving Sample Efficiency of Deep Learning Models in Electricity Market [0.41998444721319217]
  我々は,サンプルの効率を向上させるため,知識強化トレーニング(KAT)という一般的なフレームワークを提案する。 本稿では,いくつかの合成データを生成する新しいデータ拡張手法を提案する。 現代の学習理論は, 効果的な予測誤差フィードバック, 信頼損失関数, リッチ勾配雑音の観点から, 提案手法の有効性を実証している。
  論文  参考訳（メタデータ） (2022-10-11T16:35:13Z)
• Causal Dynamics Learning for Task-Independent State Abstraction [61.707048209272884]
  タスク独立状態抽象化(CDL)のための因果ダイナミクス学習を導入する。 CDLは、状態変数とアクションの間の不要な依存関係を取り除く理論的に証明された因果ダイナミクスモデルを学ぶ。 状態抽象化は、学習されたダイナミクスから導き出すことができる。
  論文  参考訳（メタデータ） (2022-06-27T17:02:53Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
  現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。 その微分可能性を利用してモデルをより効果的に活用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-16T19:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。