論文の概要: Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a
Survey
- arxiv url: http://arxiv.org/abs/2008.05598v2
- Date: Tue, 1 Dec 2020 22:40:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 10:47:57.905726
- Title: Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a
Survey
- Title（参考訳）: 高次元問題に対する深層モデルに基づく強化学習
- Authors: Aske Plaat, Walter Kosters, Mike Preuss
- Abstract要約: モデルに基づく強化学習は、環境サンプルの必要性を減らすために、環境力学の明示的なモデルを生成する。
深層モデルに基づく手法の課題は、低いサンプルの複雑さを維持しながら高い予測力を達成することである。
本稿では, 与えられた遷移を明示的に計画すること, 学習した遷移を明示的に計画すること, 計画と遷移の両方をエンドツーエンドで学習することの3つのアプローチに基づく分類法を提案する。
- 参考スコア（独自算出の注目度）: 1.2031796234206134
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Deep reinforcement learning has shown remarkable success in the past few
years. Highly complex sequential decision making problems have been solved in
tasks such as game playing and robotics. Unfortunately, the sample complexity
of most deep reinforcement learning methods is high, precluding their use in
some important applications. Model-based reinforcement learning creates an
explicit model of the environment dynamics to reduce the need for environment
samples. Current deep learning methods use high-capacity networks to solve
high-dimensional problems. Unfortunately, high-capacity models typically
require many samples, negating the potential benefit of lower sample complexity
in model-based methods. A challenge for deep model-based methods is therefore
to achieve high predictive power while maintaining low sample complexity. In
recent years, many model-based methods have been introduced to address this
challenge. In this paper, we survey the contemporary model-based landscape.
First we discuss definitions and relations to other fields. We propose a
taxonomy based on three approaches: using explicit planning on given
transitions, using explicit planning on learned transitions, and end-to-end
learning of both planning and transitions. We use these approaches to organize
a comprehensive overview of important recent developments such as latent
models. We describe methods and benchmarks, and we suggest directions for
future work for each of the approaches. Among promising research directions are
curriculum learning, uncertainty modeling, and use of latent models for
transfer learning.
- Abstract（参考訳）: 深層強化学習はここ数年で顕著な成功を収めた。
複雑なシーケンシャルな意思決定問題は、ゲームプレイやロボティクスといったタスクで解決されている。
残念ながら、ほとんどの深層強化学習手法のサンプル複雑性は高く、重要なアプリケーションでの使用を妨げている。
モデルベースの強化学習は、環境サンプルの必要性を減らすために環境ダイナミクスの明示的なモデルを作成する。
現在のディープラーニング手法は高次元問題を解決するために高容量ネットワークを使用している。
残念なことに、高容量モデルは一般的に多くのサンプルを必要とするため、モデルベースメソッドのサンプル複雑さの潜在的な利点を否定する。
したがって、深層モデルに基づく手法の課題は、低いサンプルの複雑さを維持しながら高い予測力を達成することである。
近年,この課題に対処するモデルベース手法が数多く導入されている。
本稿では,現代モデルに基づく景観を概観する。
まず、他の分野の定義と関係について論じる。
我々は,与えられた遷移の明示的な計画,学習された遷移の明示的な計画,および計画と遷移の両方のエンドツーエンド学習という3つのアプローチに基づく分類法を提案する。
我々はこれらのアプローチを用いて、潜在モデルのような最近の重要な開発の概要を包括的に整理する。
提案手法とベンチマークについて述べるとともに,それぞれのアプローチに対する今後の取り組みの方向性を提案する。
有望な研究方向としては、カリキュラム学習、不確実性モデリング、移行学習における潜在モデルの利用などがある。
関連論文リスト
- Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。
これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
論文 参考訳（メタデータ） (2024-08-14T16:58:48Z) - Learning-based Models for Vulnerability Detection: An Extensive Study [3.1317409221921144]
我々は、最先端の学習ベースアプローチの2つのタイプを広範かつ包括的に調査する。
本稿では,シーケンスベースモデルの優先度と,グラフベースモデルの限定能力について実験的に検証する。
論文 参考訳（メタデータ） (2024-08-14T13:01:30Z) - Deep Generative Models in Robotics: A Survey on Learning from Multimodal Demonstrations [52.11801730860999]
近年、ロボット学習コミュニティは、大規模なデータセットの複雑さを捉えるために、深層生成モデルを使うことへの関心が高まっている。
本稿では,エネルギーベースモデル,拡散モデル,アクションバリューマップ,生成的敵ネットワークなど,コミュニティが探求してきたさまざまなモデルについて述べる。
また,情報生成から軌道生成,コスト学習に至るまで,深層生成モデルを用いた様々なアプリケーションについて述べる。
論文 参考訳（メタデータ） (2024-08-08T11:34:31Z) - Towards Learning Stochastic Population Models by Gradient Descent [0.0]
パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。
モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
論文 参考訳（メタデータ） (2024-04-10T14:38:58Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-07-16T05:41:53Z) - Deep Generative Models for Decision-Making and Control [4.238809918521607]
この論文の2つの目的は、これらの欠点の理由を研究し、未解決問題に対する解決策を提案することである。
本稿では、ビームサーチを含む現代の生成モデリングツールボックスからの推論手法を、強化学習問題のための実行可能な計画戦略として再解釈する方法について述べる。
論文 参考訳（メタデータ） (2023-06-15T01:54:30Z) - SAGE: Generating Symbolic Goals for Myopic Models in Deep Reinforcement
Learning [18.37286885057802]
従来使用できなかった不完全モデルのクラスを利用するための学習と計画を組み合わせたアルゴリズムを提案する。
これは、象徴的な計画とニューラルネットワークのアプローチの長所を、タクシーの世界とマインクラフトのバリエーションで競合する手法を上回る、新しい方法で組み合わせたものだ。
論文 参考訳（メタデータ） (2022-03-09T22:55:53Z) - High-Accuracy Model-Based Reinforcement Learning, a Survey [2.0196229393131726]
深層強化学習は、ゲームプレイとロボティクスにおいて顕著な成功を収めている。
環境サンプルの数を減らすため、モデルに基づく強化学習は環境力学の明示的なモデルを生成する。
これらの手法のいくつかは、低いサンプルの複雑さで高い精度を達成することに成功した。
論文 参考訳（メタデータ） (2021-07-17T14:01:05Z) - Model Complexity of Deep Learning: A Survey [79.20117679251766]
深層学習におけるモデル複雑性に関する最新の研究を体系的に概観します。
本稿では,これら2つのカテゴリに関する既存研究について,モデルフレームワーク,モデルサイズ,最適化プロセス,データ複雑性の4つの重要な要因について概説する。
論文 参考訳（メタデータ） (2021-03-08T22:39:32Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。