論文の概要: Auxiliary task discovery through generate-and-test

• arxiv url: http://arxiv.org/abs/2210.14361v2
• Date: Sat, 20 Jul 2024 16:54:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 06:15:59.706139
• Title: Auxiliary task discovery through generate-and-test
• Title（参考訳）: ジェネレーション・アンド・テストによる補助的タスク発見
• Authors: Banafsheh Rafiee, Sina Ghiassian, Jun Jin, Richard Sutton, Jun Luo, Adam White,
• Abstract要約: 補助的なタスクは、エージェントに補助的な予測と制御目的を学習させることで、データ効率を向上させる。 本稿では,表現学習のアイデアに基づく強化学習における補助的タスク発見へのアプローチについて検討する。 本研究は,これらの特徴が主課題にどの程度有用かに基づいて,補助課題の有用性を示す新しい尺度を提案する。
• 参考スコア（独自算出の注目度）: 7.800263769988046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we explore an approach to auxiliary task discovery in reinforcement learning based on ideas from representation learning. Auxiliary tasks tend to improve data efficiency by forcing the agent to learn auxiliary prediction and control objectives in addition to the main task of maximizing reward, and thus producing better representations. Typically these tasks are designed by people. Meta-learning offers a promising avenue for automatic task discovery; however, these methods are computationally expensive and challenging to tune in practice. In this paper, we explore a complementary approach to the auxiliary task discovery: continually generating new auxiliary tasks and preserving only those with high utility. We also introduce a new measure of auxiliary tasks' usefulness based on how useful the features induced by them are for the main task. Our discovery algorithm significantly outperforms random tasks and learning without auxiliary tasks across a suite of environments.
• Abstract（参考訳）: 本稿では,表現学習のアイデアに基づく強化学習における補助的タスク発見へのアプローチについて検討する。 補助的なタスクは、報酬を最大化する主なタスクに加えて、エージェントに補助的な予測と制御目的を学習させ、より良い表現を生み出すことで、データ効率を改善する傾向にある。 通常、これらのタスクは人によって設計されます。 メタラーニングは、自動タスク発見のための有望な道を提供するが、これらの手法は計算に高価であり、実際にチューニングすることは困難である。 本稿では,新しいタスクを継続的に生成し,高機能なタスクのみを保存する,補助タスク発見のための補完的アプローチについて検討する。 また,これらの特徴が主課題にどの程度有用であるかに基づいた,補助課題の有用性の新たな尺度も導入する。 我々の発見アルゴリズムは,一組の環境において,補助的なタスクを使わずに,ランダムなタスクや学習を著しく上回っている。

関連論文リスト

• Proto-Value Networks: Scaling Representation Learning with Auxiliary Tasks [33.98624423578388]
  補助的なタスクは、深層強化学習エージェントによって学習された表現を改善する。 我々は、後継措置に基づく新しい補助業務のファミリーを導出する。 プロト値ネットワークは、確立されたアルゴリズムに匹敵する性能を得るために、リッチな特徴を生み出すことを示す。
  論文  参考訳（メタデータ） (2023-04-25T04:25:08Z)
• Exploiting Contextual Structure to Generate Useful Auxiliary Tasks [12.236546713167945]
  強化学習はロボットにとって高価な環境との相互作用を必要とする。 本稿では,有用な補助タスクを生成し,同時に学習することで,与えられたタスクを学習しながら経験再利用を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-09T05:11:30Z)
• Auxiliary Learning as an Asymmetric Bargaining Game [50.826710465264505]
  補助学習におけるタスクのバランスをとるために,AuxiNashという新しい手法を提案する。 本報告では,主課題の性能に対する貢献に基づいて,タスクの獲得能力を学ぶための効率的な手順について述べる。 複数のマルチタスクベンチマークでAuxiNashを評価し、競合する手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-31T09:41:39Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• AANG: Automating Auxiliary Learning [110.36191309793135]
  補助目的の集合を自動生成する手法を提案する。 我々は、新しい統合分類体系の中で既存の目的を分解し、それらの関係を識別し、発見された構造に基づいて新しい目的を創出することで、これを実現する。 これにより、生成された目的物の空間を探索し、指定されたエンドタスクに最も有用なものを見つけるための、原理的かつ効率的なアルゴリズムが導かれる。
  論文  参考訳（メタデータ） (2022-05-27T16:32:28Z)
• Transfer Learning in Conversational Analysis through Reusing Preprocessing Data as Supervisors [52.37504333689262]
  単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。 補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2021-12-02T08:40:42Z)
• Learning Task Agnostic Skills with Data-driven Guidance [0.0]
  本稿では,専門家が訪問する状態のサブセットに向けて,スキル発見を導くための枠組みを提案する。 本手法を各種強化学習タスクに適用し,このような予測がより有用な行動をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-04T06:53:10Z)
• Auxiliary Task Reweighting for Minimum-data Learning [118.69683270159108]
  教師付き学習は大量のトレーニングデータを必要とし、ラベル付きデータが不足しているアプリケーションを制限する。 データ不足を補う1つの方法は、補助的なタスクを利用して、メインタスクに対する追加の監視を提供することである。 そこで本研究では,主タスクにおけるデータ要求を減らし,補助タスクを自動的に重み付けする手法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T08:45:37Z)
• Auxiliary Learning by Implicit Differentiation [54.92146615836611]
  補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。 そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。 まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。 第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
  論文  参考訳（メタデータ） (2020-06-22T19:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。