論文の概要: How Should We Meta-Learn Reinforcement Learning Algorithms?

• arxiv url: http://arxiv.org/abs/2507.17668v1
• Date: Wed, 23 Jul 2025 16:31:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:15.086959
• Title: How Should We Meta-Learn Reinforcement Learning Algorithms?
• Title（参考訳）: メタラーニング強化学習アルゴリズムの学習方法
• Authors: Alexander David Goldie, Zilin Wang, Jakob Nicolaus Foerster, Shimon Whiteson,
• Abstract要約: メタ学習型アルゴリズムに適用した場合、異なるアプローチの実証的な比較を行う。 また, メタトレインとメタテスト性能に加えて, 解釈可能性, サンプルコスト, 列車時間などの要因についても検討した。 我々は,将来学習されるアルゴリズムが可能な限り高性能であることを保証するために,新しいRLアルゴリズムをメタラーニングするためのガイドラインをいくつか提案する。
• 参考スコア（独自算出の注目度）: 74.37180723338591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The process of meta-learning algorithms from data, instead of relying on manual design, is growing in popularity as a paradigm for improving the performance of machine learning systems. Meta-learning shows particular promise for reinforcement learning (RL), where algorithms are often adapted from supervised or unsupervised learning despite their suboptimality for RL. However, until now there has been a severe lack of comparison between different meta-learning algorithms, such as using evolution to optimise over black-box functions or LLMs to propose code. In this paper, we carry out this empirical comparison of the different approaches when applied to a range of meta-learned algorithms which target different parts of the RL pipeline. In addition to meta-train and meta-test performance, we also investigate factors including the interpretability, sample cost and train time for each meta-learning algorithm. Based on these findings, we propose several guidelines for meta-learning new RL algorithms which will help ensure that future learned algorithms are as performant as possible.
• Abstract（参考訳）: 手動設計に頼るのではなく、データからのメタ学習アルゴリズムのプロセスは、機械学習システムのパフォーマンス向上のパラダイムとして人気が高まっている。 メタラーニングは強化学習(RL)において特に有望であり、アルゴリズムはRLの亜最適性にもかかわらず、教師なし学習や教師なし学習から適応されることが多い。 しかし、これまで、ブラックボックス関数の最適化やコードの提案にLLMを使用するなど、異なるメタ学習アルゴリズムの比較に深刻な欠如があった。 本稿では,RLパイプラインの異なる部分をターゲットにしたメタ学習アルゴリズムに適用した場合の,異なるアプローチの実証的な比較を行う。 メタトレーニングとメタテストのパフォーマンスに加えて,各メタ学習アルゴリズムの解釈可能性,サンプルコスト,トレーニング時間などの要因についても検討する。 これらの知見に基づいて,将来学習されるアルゴリズムが可能な限り高性能であることを保証するために,メタラーニングの新しいRLアルゴリズムを提案する。

関連論文リスト

• Fast Adaptation with Kernel and Gradient based Meta Leaning [4.763682200721131]
  モデルAメタラーニング(MAML)の内輪と外輪の両方を改善するための2つのアルゴリズムを提案する。 最初のアルゴリズムは関数空間の最適化問題を再定義し、閉形式解を用いてモデルを更新する。 外ループでは、内ループの各タスクの損失に重みを割り当てることで、第2のアルゴリズムがメタラーナーの学習を調整する。
  論文  参考訳（メタデータ） (2024-11-01T07:05:03Z)
• General-Purpose In-Context Learning by Meta-Learning Transformers [45.63069059498147]
  本研究では,トランスフォーマーや他のブラックボックスモデルをメタトレーニングして,汎用的なインコンテキスト学習者として機能させることができることを示す。 一般化するアルゴリズム、記憶するアルゴリズム、メタトレーニングに失敗するアルゴリズム間の遷移を特徴付ける。 本稿では,学習アルゴリズムのメタトレーニングとメタ汎用化を改善するためのトレーニング分布の偏りなどの実践的介入を提案する。
  論文  参考訳（メタデータ） (2022-12-08T18:30:22Z)
• Discovered Policy Optimisation [17.458523575470384]
  メタラーニングによってミラーラーニング空間を探索する。 即時結果を学習政策最適化(LPO)と呼ぶ。 LPOを解析することにより、新しい閉形式RLアルゴリズムであるDiscovered Policy optimization (DPO)の定式化に使用するポリシー最適化に関する独自の洞察を得る。
  論文  参考訳（メタデータ） (2022-10-11T17:32:11Z)
• Multi-Task Meta-Learning Modification with Stochastic Approximation [0.7734726150561089]
  数ショットの学習問題は、メタ学習アルゴリズムの主要なベンチマークの1つである。 本稿では、トレーニング中にマルチタスクアプローチをとる標準的なメタ学習パイプラインの修正について検討する。 提案手法は,共通損失関数における複数のメタ学習タスクの情報の同時利用を行う。 これらの重みの適切な最適化は、モデル全体のトレーニングに大きな影響を与え、テスト時間タスクの品質を改善する可能性がある。
  論文  参考訳（メタデータ） (2021-10-25T18:11:49Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Discovering Reinforcement Learning Algorithms [53.72358280495428]
  強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。 本稿では,更新ルール全体を検出するメタラーニング手法を提案する。 これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
  論文  参考訳（メタデータ） (2020-07-17T07:38:39Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)
• Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks [55.66438591090072]
  メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。 数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
  論文  参考訳（メタデータ） (2020-02-17T03:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。