論文の概要: A note on goal-based hierarchical RL

• arxiv url: http://arxiv.org/abs/2609.14605v1
• Date: Sun, 13 Sep 2026 15:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.863751
• Title: A note on goal-based hierarchical RL
• Title（参考訳）: ゴールベース階層RLに関する一考察
• Abstract要約: サイケタス2026goalは エージェントが通常 環境やエージェントデザイナーに課される 2つの決定を下す。 citetmurphy2025rlでは、ポリシーが内部の信念状態$z_t$と内部の目標に基づいて、一般的なエージェント設計が提案された。 階層的隠れマルコフモデル citepmurphy 2001hhmm の形式主義を用いて、これらの2つのアプローチを拡張する。
• 参考スコア（独自算出の注目度）: 1.7470133607730627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The agent-centric general value function (ACGVF) construction of \citet{tasse2026goal} lets the agent make two decisions that are normally imposed by the environment or agent designer: which goal to pursue and when to declare a goal as finished (in addition to choosing the action). This is a very general framework that subsumes almost all prior work on reinforcement learning, control and planning, as well as more general formalisms proposed in the cognitive sciences. However, it assumes the environment is fully observed, i.e., that the observation is a sufficient statistic. In \citet{murphy2025rl}, a general agent design was proposed where the policy is based on an internal belief state $z_t$ and an internal goal; however, the goals were assumed to be externally provided. In this note, we unify and extend these two approaches using the formalism of hierarchical hidden Markov models (HHMM) \citep{murphy2001hhmm}.
• Abstract（参考訳）: エージェント中心の一般値関数(ACGVF)は、エージェントが通常環境またはエージェントデザイナによって課される2つの決定を行うことを可能にする。 これは、強化学習、制御、計画に関する以前の作業と、認知科学で提案されたより一般的な形式主義のほぼ全てを仮定する非常に一般的な枠組みである。 しかし、環境が完全に観察されていると仮定し、つまり、観測が十分統計的なものであると仮定する。 \citet{murphy2025rl} では、ポリシーが内部の信条状態$z_t$と内部の目標に基づく一般的なエージェント設計が提案された。 本稿では、階層型隠れマルコフモデル (HHMM) \citep{murphy 2001hhmm} の形式主義を用いて、これらの2つのアプローチを統一して拡張する。

関連論文リスト

• Inverting the Bellman Equation: From $Q$-Values to World Models [57.827849584133425]
  我々は、十分に豊富な報酬関数のセットで訓練された価値に基づくエージェントが、ユニークで正確な世界モデルを暗黙的にエンコードしていることを証明した。 ttReacherエージェントの暗黙の世界モデルにのみ訓練されたポリシーは、位置のみのトレーニングにもかかわらず、分布外、速度に基づく目標に準最適であることがわかった。
  論文  参考訳（メタデータ） (2026-06-19T07:26:14Z)
• A Behavioural and Representational Evaluation of Goal-Directedness in Language Model Agents [8.007212170802807]
  本稿では,行動評価と解釈可能性に基づくモデルの内部表現の分析を統合した目標指向性評価フレームワークを提案する。 我々は,様々なグリッドサイズ,障害物密度,目標構造にまたがる最適政策に対するエージェントの評価を行った。 次に、エージェントの内部表現の環境状態とマルチステップアクション計画のデコードにプローブ法を用いる。
  論文  参考訳（メタデータ） (2026-02-09T18:00:28Z)
• General Agents Contain World Models, even under Partial Observability and Stochasticity [0.913755431537592]
  エージェントはランダム化を用いて環境を学習することができないことを示す。 我々は一般性の概念を弱め、力の弱いエージェントが既に彼らが運用する世界のモデルを含んでいることを証明した。
  論文  参考訳（メタデータ） (2026-02-03T06:00:41Z)
• Action-Sufficient Goal Representations [18.88691169447082]
  本稿では,最適な行動選択に必要な目標表現条件である行動充足度を定義する情報理論フレームワークを提案する。 我々は、値飽和度がアクション飽和度を含まないことを証明し、後者が離散環境での制御成功とより強く結びついていることを実証的に検証する。
  論文  参考訳（メタデータ） (2026-01-30T03:08:37Z)
• VAGEN: Reinforcing World Model Reasoning for Multi-Turn VLM Agents [130.70999337445468]
  言語モデル(LLM)エージェントと比較して、視覚言語モデル(VLM)エージェントを訓練する際の重要な課題は、テキスト状態から複雑な視覚観察に移行することである。 VLMエージェントは、明示的な視覚状態推論によって内部世界モデルを構築することができるか? 我々は、強化学習(RL)を通して、エージェントの推論プロセスを建築的に実施し、報奨する。 エージェントの状態推定と遷移モデリングへの推論が成功に不可欠であることが分かりました。
  論文  参考訳（メタデータ） (2025-10-19T16:05:07Z)
• Goal-Directedness is in the Eye of the Beholder [48.937781898861815]
  ゴール指向の行動の探索には,2つのフレーバーがある。 エージェントシステムにおけるゴールの定式化から生じる技術的および概念的問題を特定する。 本稿では,動的マルチエージェントシステムの創発的特性として,ゴール指向性をモデル化するための新たな方向性について概説する。
  論文  参考訳（メタデータ） (2025-08-18T11:04:18Z)
• Mitigating Goal Misgeneralization via Minimax Regret [8.346033392846856]
  本稿では,異なる学習目標の下での目標誤一般化の可能性について理論的に検討する。 そこで我々は,標準的なMEVベースのトレーニング手法が,手続き的に生成されたグリッドワールド環境における目標の一般化を示すことを実証的に示す。 以上の結果から,最小限の後悔は目標の誤一般化を緩和するための有望なアプローチであることが示唆された。
  論文  参考訳（メタデータ） (2025-07-03T17:57:12Z)
• Abstraction of Nondeterministic Situation Calculus Action Theories -- Extended Version [23.24285208243607]
  非決定論的領域で動作するエージェントの動作を抽象化するための一般的なフレームワークを開発する。 我々は抽象的かつ具体的な非決定論的基本作用論を持っていると仮定する。 エージェントが目標/完了タスクを抽象レベルで達成するための(強いFOND)計画/戦略を持っている場合、具体レベルでは非決定論的抽象アクションを常に実行可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-20T05:42:38Z)
• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)
• Bisimulation Makes Analogies in Goal-Conditioned Reinforcement Learning [71.52722621691365]
  リッチな観測から汎用的な目標条件エージェントを構築することは、実世界の問題を解決するための強化学習(RL)の鍵となる。 目的条件ビシミュレーションと呼ばれる新しい状態抽象化法を提案する。 この抽象概念の計量形式を用いてこの表現を学習し、シミュレーション操作タスクにおける新しい目標に一般化する能力を示す。
  論文  参考訳（メタデータ） (2022-04-27T17:00:11Z)
• Interpretable Reinforcement Learning with Multilevel Subgoal Discovery [77.34726150561087]
  離散環境のための新しい強化学習モデルを提案する。 モデルでは、エージェントは確率的ルールの形で環境に関する情報を学習する。 学習には報酬関数は不要であり、エージェントは達成するための第一の目標のみを与える必要がある。
  論文  参考訳（メタデータ） (2022-02-15T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。