論文の概要: Hierarchical Reinforcement Learning as a Model of Human Task Interleaving

• arxiv url: http://arxiv.org/abs/2001.02122v1
• Date: Sat, 4 Jan 2020 17:53:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 12:49:14.519674
• Title: Hierarchical Reinforcement Learning as a Model of Human Task Interleaving
• Title（参考訳）: ヒューマンタスクインターリーブモデルとしての階層的強化学習
• Authors: Christoph Gebhardt, Antti Oulasvirta, Otmar Hilliges
• Abstract要約: 我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
• 参考スコア（独自算出の注目度）: 60.95424607008241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How do people decide how long to continue in a task, when to switch, and to which other task? Understanding the mechanisms that underpin task interleaving is a long-standing goal in the cognitive sciences. Prior work suggests greedy heuristics and a policy maximizing the marginal rate of return. However, it is unclear how such a strategy would allow for adaptation to everyday environments that offer multiple tasks with complex switch costs and delayed rewards. Here we develop a hierarchical model of supervisory control driven by reinforcement learning (RL). The supervisory level learns to switch using task-specific approximate utility estimates, which are computed on the lower level. A hierarchically optimal value function decomposition can be learned from experience, even in conditions with multiple tasks and arbitrary and uncertain reward and cost structures. The model reproduces known empirical effects of task interleaving. It yields better predictions of individual-level data than a myopic baseline in a six-task problem (N=211). The results support hierarchical RL as a plausible model of task interleaving.
• Abstract（参考訳）: タスクの継続期間、切り替えのタイミング、その他のタスクについて、どのように判断するのでしょうか? タスクインターリービングを支えるメカニズムを理解することは、認知科学における長年の目標である。 先行研究は、欲深いヒューリスティックスと、利益の限界率を最大化する政策を示唆している。 しかし、このような戦略が複雑なスイッチコストと報酬の遅れを伴う複数のタスクを提供する日々の環境にどのように適応できるのかは不明だ。 本稿では,強化学習(rl)による監視制御の階層モデルを開発した。 監督レベルは、低いレベルで計算されるタスク固有の近似ユーティリティ推定を用いて切り替えることを学ぶ。 階層的に最適な値関数分解は、複数のタスクと任意かつ不確実な報酬とコスト構造を持つ条件でさえ経験から学べる。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 6タスク問題(N=211)では、ミオピックベースラインよりも個々のレベルのデータの予測が優れている。 その結果、タスクインターリーブの可能なモデルとして階層的rlがサポートされる。

関連論文リスト

• Identifying Selections for Unsupervised Subtask Discovery [12.22188797558089]
  我々は、データ中の選択変数の存在を識別し、検証する理論と実験を提供する。 これらの選択はサブタスクとガイドポリシーを示すサブゴールとして機能する。 このアイデアを踏まえて、これらのサブゴールを学習し、意味のある振る舞いパターンをサブタスクとして抽出するシーケンシャルな非負行列分解法(seq-NMF)を開発した。
  論文  参考訳（メタデータ） (2024-10-28T23:47:43Z)
• Spatial Reasoning and Planning for Deep Embodied Agents [2.7195102129095003]
  この論文は空間的推論と計画タスクのためのデータ駆動手法の開発を探求する。 学習効率、解釈可能性、新しいシナリオ間の伝達可能性の向上に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-28T23:05:56Z)
• POMRL: No-Regret Learning-to-Plan with Increasing Horizons [43.693739167594295]
  オンラインメタ強化学習環境におけるモデル不確実性の下での計画課題について検討する。 本稿では,タスク間の基盤構造をメタラーニングし,タスクごとの計画を立てるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-30T03:09:45Z)
• New Tight Relaxations of Rank Minimization for Multi-Task Learning [161.23314844751556]
  2つの正規化項に基づく2つの新しいマルチタスク学習定式化を提案する。 本手法は,タスク間で共有される低ランク構造を正確に復元し,関連するマルチタスク学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-09T07:29:57Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Instance-Level Task Parameters: A Robust Multi-task Weighting Framework [17.639472693362926]
  最近の研究によると、ディープニューラルネットワークは、複数の関連するタスク間で共有表現を学習することで、マルチタスク学習の恩恵を受けている。 トレーニングプロセスは、データセットの各インスタンスに対するタスクの最適な重み付けを規定します。 我々は,SURREALとCityScapesのデータセットを用いて,人間の形状とポーズ推定,深さ推定,セマンティックセグメンテーションタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-06-11T02:35:42Z)
• Learning Task Decomposition with Ordered Memory Policy Network [73.3813423684999]
  OMPN(Ordered Memory Policy Network)を提案し、デモから学習することでサブタスク階層を発見する。 ompnは部分的に観測可能な環境に適用でき、高いタスク分解性能を達成できる。 私たちの視覚化は、サブタスク階層がモデルに出現できることを確認します。
  論文  参考訳（メタデータ） (2021-03-19T18:13:35Z)
• Hierarchical Reinforcement Learning By Discovering Intrinsic Options [18.041140234312934]
  HIDIOは、タスク非依存の選択肢を自己指導的に学習し、それらを共同で学習してスパース・リワードのタスクを解く。 スパース・リワードロボット操作およびナビゲーションタスクの実験において、HIDIOはより高いサンプル効率で高い成功率を達成する。
  論文  参考訳（メタデータ） (2021-01-16T20:54:31Z)
• Generalized Hindsight for Reinforcement Learning [154.0545226284078]
  1つのタスクを解決しようとするときに収集された低リワードデータは、そのタスクを解決するための信号をほとんど、あるいは全く提供しない、と我々は主張する。 本稿では,動作を適切なタスクで再現するための近似逆強化学習手法であるGeneralized Hindsightを提案する。
  論文  参考訳（メタデータ） (2020-02-26T18:57:05Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。