論文の概要: Investigating Compounding Prediction Errors in Learned Dynamics Models
- arxiv url: http://arxiv.org/abs/2203.09637v1
- Date: Thu, 17 Mar 2022 22:24:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 07:14:05.788840
- Title: Investigating Compounding Prediction Errors in Learned Dynamics Models
- Title（参考訳）: 学習ダイナミクスモデルにおける複合化予測誤差の検討
- Authors: Nathan Lambert, Kristofer Pister, Roberto Calandra
- Abstract要約: エージェントの行動の結果を正確に予測することは、ロボット制御の計画において重要な前提条件である。
Deep MBRLは、ニューラルネットワークを使用して、高次元状態からアクションへの各パスを予測するダイナミックスモデルを学ぶことで、一般的な候補となっている。
これらの「ワンステップ」予測は、構成された予測の長い地平線上で不正確なことが知られている。
- 参考スコア（独自算出の注目度）: 7.237751303770201
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurately predicting the consequences of agents' actions is a key
prerequisite for planning in robotic control. Model-based reinforcement
learning (MBRL) is one paradigm which relies on the iterative learning and
prediction of state-action transitions to solve a task. Deep MBRL has become a
popular candidate, using a neural network to learn a dynamics model that
predicts with each pass from high-dimensional states to actions. These
"one-step" predictions are known to become inaccurate over longer horizons of
composed prediction - called the compounding error problem. Given the
prevalence of the compounding error problem in MBRL and related fields of
data-driven control, we set out to understand the properties of and conditions
causing these long-horizon errors. In this paper, we explore the effects of
subcomponents of a control problem on long term prediction error: including
choosing a system, collecting data, and training a model. These detailed
quantitative studies on simulated and real-world data show that the underlying
dynamics of a system are the strongest factor determining the shape and
magnitude of prediction error. Given a clearer understanding of compounding
prediction error, researchers can implement new types of models beyond
"one-step" that are more useful for control.
- Abstract（参考訳）: エージェントの行動の結果を正確に予測することは、ロボット制御の計画において重要な前提条件である。
モデルベース強化学習(MBRL)は、タスクを解決するための状態-行動遷移の反復学習と予測に依存するパラダイムである。
Deep MBRLは、ニューラルネットワークを使用して、高次元状態からアクションへの各パスを予測するダイナミクスモデルを学ぶことで、一般的な候補となっている。
これらの「ワンステップ」予測は合成予測のより長い地平線(複合誤差問題と呼ばれる)で不正確になることが知られている。
MBRLにおける複合的誤り問題とデータ駆動制御の関連分野の有病率を考えると、これらの長期的誤差の原因となる特性と条件を理解することにした。
本稿では,制御問題のサブコンポーネントが長期予測誤差に及ぼす影響について検討する。システムの選択,データ収集,モデルのトレーニングなどを含む。
これらのシミュレーションおよび実世界のデータに関する詳細な定量的研究は、システムの基盤となるダイナミクスが予測誤差の形状と大きさを決定する最も強力な要因であることを示している。
複雑な予測誤差のより明確な理解から、研究者は制御に有用な「ワンステップ」以上の新しいタイプのモデルを実装できる。
関連論文リスト
- Mechanism learning: Reverse causal inference in the presence of multiple unknown confounding through front-door causal bootstrapping [0.8901073744693314]
機械学習(ML)予測モデルの最大の制限は、変数間の因果関係ではなく、関連性を取り戻すことである。
本稿では,前向きの因果ブートストラップを用いて観測データを分解する機構学習を提案する。
提案手法は,完全合成,半合成,実世界のデータセットを用いて,信頼性,不偏性,因果的ML予測器を検出できることを実証する。
論文 参考訳（メタデータ） (2024-10-26T03:34:55Z) - EANet: Expert Attention Network for Online Trajectory Prediction [5.600280639034753]
Expert Attention Networkは、軌道予測のための完全なオンライン学習フレームワークである。
我々は,ネットワーク層の深さの異なる重みを調整し,勾配問題によるモデル更新が遅いことを回避し,専門家の注意を喚起する。
さらに,シナリオ変化に敏感な短期動作トレンドカーネル関数を提案する。
論文 参考訳（メタデータ） (2023-09-11T07:09:40Z) - Learning Residual Model of Model Predictive Control via Random Forests
for Autonomous Driving [13.865293598486492]
自律運転における予測制御(MPC)の大きな問題は、システムモデルの予測と計算の矛盾である。
本稿では、MPC追跡精度をプログラム(QP)問題最適化として再構成し、プログラム(QP)が効果的に解けるようにする。
論文 参考訳（メタデータ） (2023-04-10T03:32:09Z) - Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。
元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。
我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文 参考訳（メタデータ） (2023-02-08T07:37:51Z) - Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse
Data using a Learning-based Unscented Kalman Filter [65.93205328894608]
我々は,動的・シミュレータモデルと実ロボット間の残差を学習する。
学習した残差誤差により、動的モデル、シミュレーション、および実際のハードウェア間の現実的ギャップをさらに埋めることができることを示す。
論文 参考訳（メタデータ） (2022-09-07T15:15:12Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳（メタデータ） (2022-06-09T17:12:32Z) - Using Data Assimilation to Train a Hybrid Forecast System that Combines
Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。
動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文 参考訳（メタデータ） (2021-02-15T19:56:48Z) - Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。
これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。
近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文 参考訳（メタデータ） (2021-02-11T16:27:31Z) - Learning Accurate Long-term Dynamics for Model-based Reinforcement
Learning [7.194382512848327]
より長い地平線で安定的に予測するために, 状態作用データに対する教師付き学習のための新しいパラメータ化を提案する。
シミュレーションおよび実験によるロボット作業の結果,軌道に基づくモデルにより,より正確な長期予測が得られた。
論文 参考訳（メタデータ） (2020-12-16T18:47:37Z) - Bootstrapped model learning and error correction for planning with
uncertainty in model-based RL [1.370633147306388]
自然の目的は、環境のダイナミクスを正確に反映したモデルを学ぶことである。
本稿では,不確実性を考慮した強化学習エージェントによるモデルミス特定の問題について検討する。
本稿では,将来の状態と報酬の分布を学習するブートストラップ型マルチヘッドニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-15T15:41:21Z) - Dropout: Explicit Forms and Capacity Control [57.36692251815882]
各種機械学習問題におけるドロップアウトによるキャパシティ制御について検討する。
ディープラーニングでは、ドロップアウトによるデータ依存型正規化器が、基礎となるディープニューラルネットワークのクラスであるRademacherの複雑さを直接制御していることを示す。
MovieLens, MNIST, Fashion-MNISTなどの実世界のデータセットに関する理論的知見を評価する。
論文 参考訳（メタデータ） (2020-03-06T19:10:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。