論文の概要: Information-theoretic Task Selection for Meta-Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2011.01054v2
- Date: Thu, 1 Jul 2021 13:45:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 12:42:57.299966
- Title: Information-theoretic Task Selection for Meta-Reinforcement Learning
- Title（参考訳）: メタ強化学習のための情報理論タスク選択
- Authors: Ricardo Luna Gutierrez, Matteo Leonetti
- Abstract要約: メタ強化学習(Meta-Reinforcement Learning、Meta-RL)では、エージェントは、新しい、見えない、しかし関連するタスクの準備と学習のために一連のタスクで訓練される。
トレーニングタスクのセットが与えられた場合、トレーニングタスクが適切に選択された場合、学習はより迅速かつ効果的であることを示します。
本稿では,情報理論に基づくタスク選択アルゴリズムITTSを提案する。
- 参考スコア（独自算出の注目度）: 9.69596041242667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Meta-Reinforcement Learning (meta-RL) an agent is trained on a set of
tasks to prepare for and learn faster in new, unseen, but related tasks. The
training tasks are usually hand-crafted to be representative of the expected
distribution of test tasks and hence all used in training. We show that given a
set of training tasks, learning can be both faster and more effective (leading
to better performance in the test tasks), if the training tasks are
appropriately selected. We propose a task selection algorithm,
Information-Theoretic Task Selection (ITTS), based on information theory, which
optimizes the set of tasks used for training in meta-RL, irrespectively of how
they are generated. The algorithm establishes which training tasks are both
sufficiently relevant for the test tasks, and different enough from one
another. We reproduce different meta-RL experiments from the literature and
show that ITTS improves the final performance in all of them.
- Abstract（参考訳）: メタ強化学習(Meta-Reinforcement Learning、Meta-RL)では、エージェントは、新しい、見えない、しかし関連するタスクの準備と学習のために一連のタスクで訓練される。
トレーニングタスクは通常、予想されるテストタスクの分布を表すために手作りされるため、トレーニングで使用される。
トレーニングタスクのセットが与えられた場合、トレーニングタスクが適切に選択された場合、学習がより迅速かつ効果的であること(テストタスクのパフォーマンス向上につながる)が示されます。
本稿では,メタRLにおける学習に使用されるタスクの集合を,その生成方法に関係なく最適化する情報理論に基づくタスク選択アルゴリズムITTSを提案する。
アルゴリズムは、どのトレーニングタスクがテストタスクに十分な意味を持ち、互いに十分な差異があるかを決定する。
文献から異なるメタRL実験を再現し、ITTSが最終性能を改善することを示す。
関連論文リスト
- Data-Efficient and Robust Task Selection for Meta-Learning [1.4557421099695473]
本稿では,データ効率とロバストタスク選択(DERTS)アルゴリズムを提案する。
DERTSはタスクプールからタスクプールの重み付けされたサブセットを選択し、メタトレーニング段階におけるタスクプールの全勾配の近似誤差を最小化する。
既存のアルゴリズムとは異なり、DERTSはトレーニングのためにアーキテクチャの変更を一切必要とせず、サポートセットとクエリセットの両方でノイズの多いラベルデータを処理できる。
論文 参考訳（メタデータ） (2024-05-11T19:47:27Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳（メタデータ） (2023-11-01T04:40:05Z) - Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。
タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。
本稿では、経験的および理論的分析を通して、この見解に挑戦する。
論文 参考訳（メタデータ） (2023-07-18T01:53:18Z) - Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。
アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。
我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-30T12:32:43Z) - Meta Reinforcement Learning with Successor Feature Based Context [51.35452583759734]
本稿では,既存のメタRLアルゴリズムと競合する性能を実現するメタRL手法を提案する。
本手法は,複数のタスクに対して同時に高品質なポリシーを学習するだけでなく,短時間のトレーニングで新しいタスクに迅速に適応できる。
論文 参考訳（メタデータ） (2022-07-29T14:52:47Z) - Learning Action Translator for Meta Reinforcement Learning on
Sparse-Reward Tasks [56.63855534940827]
本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。
理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。
本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
論文 参考訳（メタデータ） (2022-07-19T04:58:06Z) - On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。
マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
論文 参考訳（メタデータ） (2022-06-07T13:24:00Z) - Meta-Reinforcement Learning for Heuristic Planning [12.462608802359936]
メタ強化学習(Meta-Reinforcement Learning、Meta-RL)では、エージェントは、新しい、見えない、しかし関連するタスクの準備と学習のために一連のタスクで訓練される。
トレーニングタスクのセットが与えられた場合、トレーニングタスクが適切に選択された場合、学習はより迅速かつ効果的であることを示します。
本稿では,情報理論に基づくタスク選択アルゴリズムITTSを提案する。
論文 参考訳（メタデータ） (2021-07-06T13:25:52Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T03:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。