論文の概要: Act-Then-Measure: Reinforcement Learning for Partially Observable
Environments with Active Measuring
- arxiv url: http://arxiv.org/abs/2303.08271v1
- Date: Tue, 14 Mar 2023 23:22:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-03-16 15:25:04.320122
- Title: Act-Then-Measure: Reinforcement Learning for Partially Observable
Environments with Active Measuring
- Title（参考訳）: act-then-measure:アクティブ計測を用いた部分観測環境の強化学習
- Authors: Merlijn Krale, Thiago D. Sim\~ao, Nils Jansen
- Abstract要約: 我々はマルコフ決定プロセス(MDP)について検討し、エージェントはいつどのように情報を集めるかを直接制御する。
これらのモデルでは、アクションは環境に影響を与える制御アクションと、エージェントが観察できるものに影響を与える測定アクションの2つのコンポーネントで構成される。
この仮定に従うと、ポリシー時間が短くなり、計算によって生じる性能損失の限界が証明される。
- 参考スコア（独自算出の注目度）: 4.033107207078282
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study Markov decision processes (MDPs), where agents have direct control
over when and how they gather information, as formalized by action-contingent
noiselessly observable MDPs (ACNO-MPDs). In these models, actions consist of
two components: a control action that affects the environment, and a
measurement action that affects what the agent can observe. To solve ACNO-MDPs,
we introduce the act-then-measure (ATM) heuristic, which assumes that we can
ignore future state uncertainty when choosing control actions. We show how
following this heuristic may lead to shorter policy computation times and prove
a bound on the performance loss incurred by the heuristic. To decide whether or
not to take a measurement action, we introduce the concept of measuring value.
We develop a reinforcement learning algorithm based on the ATM heuristic, using
a Dyna-Q variant adapted for partially observable domains, and showcase its
superior performance compared to prior methods on a number of
partially-observable environments.
- Abstract（参考訳）: 我々はマルコフ決定過程(mdps)について検討し、エージェントがいつどのように情報を収集するかを直接制御し、アクションコンティントノイズレス可観測mdps(acno-mpd)によって形式化された。
これらのモデルでは、アクションは環境に影響を与える制御アクションと、エージェントが観察できるものに影響を与える測定アクションの2つのコンポーネントで構成される。
ACNO-MDPを解くために,制御動作を選択する際に将来の状態の不確実性を無視できるATMヒューリスティックを導入する。
このヒューリスティックに従えば、より短いポリシー計算時間につながる可能性を示し、ヒューリスティックによって引き起こされる性能損失を証明できることを示す。
測定行動をとるか否かを決定するために,測定値の概念を導入する。
ATMヒューリスティックに基づく強化学習アルゴリズムを開発し、部分観測可能な領域に適応したDyna-Q変種を用いて、いくつかの部分観測可能な環境において従来の手法と比較して優れた性能を示す。
関連論文リスト
- Offline Action-Free Learning of Ex-BMDPs by Comparing Diverse Datasets [87.62730694973696]
本稿では,エージェント間の制御可能な特徴ダイナミクスの違いを利用して表現を学習する,サンプル効率のよいアルゴリズムCRAFTを紹介する。
我々はCRAFTの性能を理論的に保証し、おもちゃの例でその実現可能性を示す。
論文 参考訳（メタデータ） (2025-03-26T22:05:57Z) - Observer-Aware Probabilistic Planning Under Partial Observability [3.8506666685467343]
観測者対応のマルコフ決定プロセス(OAMDP)に基づいて,部分的可観測性問題に対処する枠組みを提案する。
部分可観測性へのOAMDPの拡張は、より現実的な問題に対処できるだけでなく、動的に隠れた興味のある変数を考慮できる。
論文 参考訳（メタデータ） (2025-02-14T21:41:04Z) - R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models [50.19174067263255]
我々は、エージェントがスパース・リワード、継続的なアクション、ゴールベースのロボット制御POMDP環境においてエクササイズするのを助けるために、事前の選好学習手法と自己修正スケジュールを導入する。
我々のエージェントは、累積報酬、相対安定性、成功率の観点から、最先端モデルよりも優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-09-21T18:32:44Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - Learning Action-based Representations Using Invariance [18.1941237781348]
我々は,制御に関係のある遠隔状態の特徴を割引する多段階制御可能性指標を学習するアクションビシミュレーション符号化を導入する。
我々は,報酬のない一様ランダムなデータに基づく行動ビシミュレーション事前学習が,複数の環境におけるサンプル効率を向上させることを実証した。
論文 参考訳（メタデータ） (2024-03-25T02:17:54Z) - Robust Active Measuring under Model Uncertainty [11.087930299233278]
部分的可観測性と不確実性は、シーケンシャルな意思決定において一般的な問題である。
本稿では,RAM-MDPを効率よく解き,モデルの不確実性によりエージェントがより少ない測定を行えることを示す。
論文 参考訳（メタデータ） (2023-12-18T14:21:35Z) - Expert-Guided Symmetry Detection in Markov Decision Processes [0.0]
MDP力学が不変である状態-作用空間の変換の存在を検出することを目的としたパラダイムを提案する。
その結果, 検出した対称性を用いて得られたデータを用いてデータセットを拡張した場合, モデル分布シフトが小さくなることがわかった。
論文 参考訳（メタデータ） (2021-11-19T16:12:30Z) - Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in
Partially Observed Markov Decision Processes [65.91730154730905]
医療や教育などの観察データへのオフライン強化学習の適用においては、観察された行動は観測されていない要因に影響される可能性があるという一般的な懸念がある。
ここでは、部分的に観察されたマルコフ決定過程(POMDP)における非政治評価を考慮し、この問題に取り組む。
我々は、近位因果推論の枠組みをPOMDP設定に拡張し、識別が可能となる様々な設定を提供する。
論文 参考訳（メタデータ） (2021-10-28T17:46:14Z) - Rule-based Shielding for Partially Observable Monte-Carlo Planning [78.05638156687343]
一部観測可能なモンテカルロ計画(POMCP)への2つの貢献を提案する。
1つ目は、POMCPが選択した予期しない行動を、タスクのエキスパートの事前知識に関して識別する方法です。
2つ目は、POMCPが予期せぬ動作を選択するのを防ぐ遮蔽アプローチである。
我々は,pomdpsの標準ベンチマークであるtigerに対するアプローチと,移動ロボットナビゲーションにおける速度規制に関する実世界問題を評価する。
論文 参考訳（メタデータ） (2021-04-28T14:23:38Z) - Instance-Aware Predictive Navigation in Multi-Agent Environments [93.15055834395304]
エージェント間の相互作用と将来のシーン構造を予測するIPC(Instance-Aware Predictive Control)アプローチを提案する。
我々は,ego中心の視点でエージェント間のインタラクションを推定するために,新しいマルチインスタンスイベント予測モジュールを採用する。
シーンレベルとインスタンスレベルの両方の予測状態をより有効活用するために、一連のアクションサンプリング戦略を設計します。
論文 参考訳（メタデータ） (2021-01-14T22:21:25Z) - Exploiting Submodular Value Functions For Scaling Up Active Perception [60.81276437097671]
アクティブな知覚タスクでは、エージェントは1つ以上の隠れ変数の不確実性を減少させる感覚行動を選択することを目的としている。
部分的に観測可能なマルコフ決定過程(POMDP)は、そのような問題に対する自然なモデルを提供する。
エージェントが利用できるセンサーの数が増えるにつれて、POMDP計画の計算コストは指数関数的に増加する。
論文 参考訳（メタデータ） (2020-09-21T09:11:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。