論文の概要: POMRL: No-Regret Learning-to-Plan with Increasing Horizons

• arxiv url: http://arxiv.org/abs/2212.14530v1
• Date: Fri, 30 Dec 2022 03:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 15:38:18.932427
• Title: POMRL: No-Regret Learning-to-Plan with Increasing Horizons
• Title（参考訳）: pomrl: 地平線を増すことなく学習を計画する
• Authors: Khimya Khetarpal, Claire Vernade, Brendan O'Donoghue, Satinder Singh, Tom Zahavy
• Abstract要約: オンラインメタ強化学習環境におけるモデル不確実性の下での計画課題について検討する。 本稿では,タスク間の基盤構造をメタラーニングし,タスクごとの計画を立てるアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 43.693739167594295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of planning under model uncertainty in an online meta-reinforcement learning (RL) setting where an agent is presented with a sequence of related tasks with limited interactions per task. The agent can use its experience in each task and across tasks to estimate both the transition model and the distribution over tasks. We propose an algorithm to meta-learn the underlying structure across tasks, utilize it to plan in each task, and upper-bound the regret of the planning loss. Our bound suggests that the average regret over tasks decreases as the number of tasks increases and as the tasks are more similar. In the classical single-task setting, it is known that the planning horizon should depend on the estimated model's accuracy, that is, on the number of samples within task. We generalize this finding to meta-RL and study this dependence of planning horizons on the number of tasks. Based on our theoretical findings, we derive heuristics for selecting slowly increasing discount factors, and we validate its significance empirically.
• Abstract（参考訳）: エージェントがタスク毎に限られたインタラクションを持つ関連するタスクのシーケンスを提示するオンラインメタ強化学習(rl)環境において,モデル不確実性下での計画の問題について検討する。 エージェントは各タスクにおけるその経験を利用して、遷移モデルとタスク上の分散の両方を見積もることができる。 我々は,タスク間の基盤構造をメタ学習し,各タスクの計画に利用するアルゴリズムを提案する。 我々の結論は、タスク数が増え、タスクがより似ていると、タスクに対する平均的な後悔が減少することを示唆している。 古典的な単一タスク設定では、計画の地平線は推定モデルの精度、すなわちタスク内のサンプル数に依存することが知られている。 本稿では,この発見をメタRLに一般化し,タスク数に対する計画的地平の依存性について検討する。 理論的な結果から,徐々に増加する割引要因を選択するためのヒューリスティックスを導出し,その意義を実証的に検証した。

関連論文リスト

• Generalization of Compositional Tasks with Logical Specification via Implicit Planning [14.46490764849977]
  本稿では,タスク一般化の効率性と最適性を向上する階層的RLフレームワークを提案する。 高いレベルでは、作曲タスクの一般化に特化して設計された暗黙のプランナーを示す。 潜時遷移モデルを学び、グラフニューラルネットワーク(GNN)を用いて潜時空間で計画を実行する。
  論文  参考訳（メタデータ） (2024-10-13T00:57:10Z)
• Proximal Curriculum with Task Correlations for Deep Reinforcement Learning [25.10619062353793]
  エージェントの最終性能を複雑なタスクに対する目標分布として測定するコンテキストマルチタスク設定におけるカリキュラム設計について検討する。 本稿では,タスク相関を利用してエージェントの学習を目標分布に向けて進めながら,エージェントにとって難しくないタスクを選択する必要性を効果的にバランスさせる新しいカリキュラムProCuRL-Targetを提案する。
  論文  参考訳（メタデータ） (2024-05-03T21:07:54Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
  本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。 アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。 我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-30T12:32:43Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
  既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。 タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。 メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T22:16:35Z)
• Task Scoping: Generating Task-Specific Abstractions for Planning [19.411900372400183]
  オープンスコープの世界モデルを用いた特定のタスクの計画は、計算的に難解である。 本稿では,初期条件,目標条件,タスクの遷移力学構造に関する知識を活用するタスクスコーピングを提案する。 タスクスコーピングは、関連要因やアクションを決して削除せず、その計算複雑性を特徴づけ、特に有用である計画上の問題を特徴づける。
  論文  参考訳（メタデータ） (2020-10-17T21:19:25Z)
• Deeper Task-Specificity Improves Joint Entity and Relation Extraction [0.0]
  マルチタスク学習(MTL)は、関連するタスクを学習するための効果的な方法であるが、MTLモデルを設計するには、どのパラメータをタスク固有のものにするかを決定する必要がある。 本稿では,従来の作業よりも深いタスク特異性を実現するニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-15T18:34:52Z)
• Hierarchical Reinforcement Learning as a Model of Human Task Interleaving [60.95424607008241]
  我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
  論文  参考訳（メタデータ） (2020-01-04T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。