論文の概要: Learning to Operate in Open Worlds by Adapting Planning Models
- arxiv url: http://arxiv.org/abs/2303.14272v1
- Date: Fri, 24 Mar 2023 21:04:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 20:56:23.926187
- Title: Learning to Operate in Open Worlds by Adapting Planning Models
- Title(参考訳): プランニングモデルの適用によるオープンワールドでの運用の学習
- Authors: Wiktor Piotrowski and Roni Stern and Yoni Sher and Jacob Le and
Matthew Klenk and Johan deKleer and Shiwali Mohan
- Abstract要約: プランニングエージェントは、ドメインモデルがもはや正確に世界を表すことができない新しい状況で振る舞うことができない。
オープンな世界で活動するエージェントに対して,新規性の存在を検知し,ドメインモデルに効果的に適用するアプローチを提案する。
- 参考スコア(独自算出の注目度): 12.513121330508477
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Planning agents are ill-equipped to act in novel situations in which their
domain model no longer accurately represents the world. We introduce an
approach for such agents operating in open worlds that detects the presence of
novelties and effectively adapts their domain models and consequent action
selection. It uses observations of action execution and measures their
divergence from what is expected, according to the environment model, to infer
existence of a novelty. Then, it revises the model through a heuristics-guided
search over model changes. We report empirical evaluations on the CartPole
problem, a standard Reinforcement Learning (RL) benchmark. The results show
that our approach can deal with a class of novelties very quickly and in an
interpretable fashion.
- Abstract(参考訳): プランニングエージェントは、ドメインモデルがもはや世界を正確に表現していない新しい状況で振る舞うことができない。
オープンな世界で活動するエージェントに対して,新規性の存在を検知し,ドメインモデルやアクション選択を効果的に適用するアプローチを提案する。
行動の実行を観察し、環境モデルによって期待されるものとの相違を計測し、ノベルティの存在を推測する。
そして、モデル変更に対するヒューリスティックスガイダンスによる探索を通じてモデルを改訂する。
標準強化学習(rl)ベンチマークであるcartopole問題に関する経験的評価を報告する。
その結果,本手法は極めて迅速かつ解釈可能な方法で新規性に対処できることがわかった。
関連論文リスト
- ReCoRe: Regularized Contrastive Representation Learning of World Model [22.842308869723738]
我々は, (i) 対照的な教師なし学習と (ii) 介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。
提案手法は現状のモデルベースおよびモデルフリーのRL法よりも優れており,iGibsonベンチマークで評価された分布外点ナビゲーションタスクに大きく貢献する。
論文 参考訳(メタデータ) (2023-12-14T15:53:07Z) - A Simple Way to Incorporate Novelty Detection in World Models [15.91258156780494]
世界モデルを用いた強化学習(RL)は近年大きな成功を収めている。
しかし、突然世界力学や性質が変化した場合、エージェントの性能と信頼性は劇的に低下する。
本稿では,世界モデルRLエージェントにノベルティ検出を組み込むための単純なバウンディング手法を提案する。
論文 参考訳(メタデータ) (2023-10-12T21:38:07Z) - Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。
LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。
本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
論文 参考訳(メタデータ) (2023-10-12T10:20:36Z) - Predictive Experience Replay for Continual Visual Control and
Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。
まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。
我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文 参考訳(メタデータ) (2023-03-12T05:08:03Z) - Methods and Mechanisms for Interactive Novelty Handling in Adversarial
Environments [32.175953686781284]
本稿では,異なる種類の新規性を検出し,特徴付けるための一般的な方法とアーキテクチャ機構を紹介する。
対戦型マルチエージェントボードゲームMonopolyにおいて,サードパーティによる評価において提案手法の有効性を示す。
論文 参考訳(メタデータ) (2023-02-28T00:05:48Z) - When Demonstrations Meet Generative World Models: A Maximum Likelihood
Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。
タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
論文 参考訳(メタデータ) (2023-02-15T04:14:20Z) - Investigating the role of model-based learning in exploration and
transfer [11.652741003589027]
本稿では,モデルベースエージェントの文脈における伝達学習について検討する。
モデルベースアプローチは,移動学習におけるモデルフリーベースラインよりも優れていることがわかった。
本研究の結果から,本質的な探索と環境モデルが組み合わさって,自己監督的かつ新たな報酬関数に一般化可能なエージェントの方向性を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-02-08T11:49:58Z) - Online reinforcement learning with sparse rewards through an active
inference capsule [62.997667081978825]
本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。
我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。
また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
論文 参考訳(メタデータ) (2021-06-04T10:03:36Z) - Feature-Based Interpretable Reinforcement Learning based on
State-Transition Models [3.883460584034766]
現実世界でのAIモデルの運用に関する懸念が高まり、AIモデルの決定を人間に説明することへの関心が高まっています。
強化学習におけるリスクに関する局所的な説明方法を提案する。
論文 参考訳(メタデータ) (2021-05-14T23:43:11Z) - Bridging Imagination and Reality for Model-Based Deep Reinforcement
Learning [72.18725551199842]
BrIdging Reality and Dream (BIRD) と呼ばれる新しいモデルに基づく強化学習アルゴリズムを提案する。
虚構と実軌跡の相互情報を最大化し、虚構から学んだ政策改善を実軌跡に容易に一般化できるようにする。
提案手法は, モデルベース計画のサンプル効率を向上し, 挑戦的なビジュアル制御ベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2020-10-23T03:22:01Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。