論文の概要: Robust Reward Machine Learning and Execution in Noisy Environments
- arxiv url: http://arxiv.org/abs/2611.01063v1
- Date: Sat, 31 Oct 2026 15:58:05 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:23:03.334492
- Title: Robust Reward Machine Learning and Execution in Noisy Environments
- Title（参考訳）: 雑音環境下でのロバストリワード機械学習と実行
- Abstract要約: Reward Machine (RM) は、高レベル命題イベント上の有限状態マシンとして非マルコフ報酬関数を表す。
Prob-IRMは雑音ラベリング関数の存在下でRMを学習する手法である。
個別環境と連続環境の両方において、ポリシー学習に利用します。
- 参考スコア（独自算出の注目度）: 42.026193999521006
- License:
- Abstract: Background: Reward machines (RMs) represent non-Markovian reward functions as finite-state machines over high-level propositional events. Traditionally, these events are generated by a deterministic labelling function that maps environment states to proposition sets. However, real-world labelling functions are inherently noisy. Objectives: Design and implement a method that learns RMs in the presence of noisy labelling functions and exploits them for policy learning in both discrete and continuous environments. Methods: We propose Prob-IRM, a method that learns RMs from noisy proposition histories using inductive logic programming (ILP) and exploits them for policy learning. Noisy proposition histories are represented as training examples for ILP, which learns an RM that maximises coverage of low-uncertainty histories. RM learning is interleaved with policy optimisation. Prob-IRM uses a belief over RM states to determine when to relearn the RM and to provide additional guiding rewards. Results: Prob-IRM is evaluated on environments with discrete and continuous state spaces under varying levels of labelling noise. Prob-IRM performs comparably to baselines using handcrafted RMs and outperforms approaches that use recurrent neural networks to encode history, despite operating with noisy labels. Conclusions: Prob-IRM represents a step towards deploying reward machines in noisy, real-world environments.
- Abstract（参考訳）: 背景: Reward Machine (RM) は、高レベル命題イベント上の有限状態マシンとして非マルコフ報酬関数を表す。
伝統的に、これらのイベントは環境状態を命題集合にマッピングする決定論的ラベリング関数によって生成される。
しかし、実世界のラベリング関数は本質的にうるさい。
目的: ノイズの多いラベル付け機能の存在下でRMを学習し、それらを個別環境と連続環境の両方でポリシー学習に活用する手法を設計し、実装する。
方法: 帰納的論理プログラミング (ILP) を用いて雑音のある命題履歴からRMを学習し, ポリシー学習に活用する手法であるProb-IRMを提案する。
ノイズのある命題ヒストリーは、低不確かさヒストリーのカバレッジを最大化するRMを学ぶILPのトレーニング例として表現される。
RM学習は、ポリシー最適化とインターリーブされる。
Prob-IRMはRM状態に対する信念を用いて、RMをいつリードするかを判断し、追加の誘導報酬を与える。
結果: 離散的および連続的な状態空間を持つ環境において, ラベル付けノイズのレベルが異なる環境下でProb-IRMを評価した。
Prob-IRMは手作りのRMを使用してベースラインと互換性があり、ノイズのあるラベルで操作されているにも関わらず、繰り返しニューラルネットワークを使って履歴をエンコードするアプローチよりも優れています。
結論: Prob-IRMは、ノイズの多い実環境において、報酬機をデプロイするためのステップである。
関連論文リスト
- Reinforcement Learning with Symbolic Reward Machines [3.945491622255908]
本稿では,シンボリック・リワード・マシン(SRM)と学習アルゴリズムQSRMとLSRMを併用して,RMの限界を克服する手法を提案する。
SRMは環境の標準出力のみを消費し、シンボル式で表されるガードを通して観察を直接処理する。
提案手法は広く使われている環境定義に準拠し,ユーザに対してタスクの解釈可能な表現を提供する。
論文 参考訳（メタデータ） (2026-03-03T15:11:41Z) - SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models [53.19726629537694]
ビデオ生成モデルと人間の好みのトレーニング後のアライメントは、重要な目標である。
現在のデータ収集パラダイムは、プロンプト内のペアワイズアノテーションに依存しており、ノイズのラベル付けに悩まされている。
ビデオRMトレーニングのための体系的フレームワークであるSoliRewardを提案する。
論文 参考訳（メタデータ） (2025-12-17T14:28:23Z) - Learning Robust Reward Machines from Noisy Labels [46.18428376996514]
PROB-IRMは、雑音のある実行トレースから強化学習(RL)エージェントのための堅牢な報酬機(RM)を学習するアプローチである。
ProB-IRMは雑音の痕跡からRMを学習し、それらを利用してRLエージェントを訓練し、そのタスクをうまく解決できることを示す。
論文 参考訳（メタデータ） (2024-08-27T08:41:42Z) - Hierarchies of Reward Machines [75.55324974788475]
リワードマシン(Reward Machine, RM)は、有限状態機械による強化学習タスクの報酬関数を表現するための最近の形式である。
本稿では,RMを他のRMを呼ばせることによって,サブタスク構造をさらに抽象化する形式的手法を提案する。
論文 参考訳（メタデータ） (2022-05-31T12:39:24Z) - Learning and Solving Regular Decision Processes [15.533842336139067]
RDP(Regular Decision Processs)は、非マルコフ力学と報酬を用いてMDPを拡張するモデルである。
本研究では,履歴クラスタリングによる自動学習技術を活用して,MCTSを適応させることで,Mealyマシンを学習し,それを解決する。
論文 参考訳（メタデータ） (2020-03-02T16:36:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。