論文の概要: Generating Auxiliary Tasks with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2510.22940v4
• Date: Mon, 03 Nov 2025 23:55:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 12:15:51.0981
• Title: Generating Auxiliary Tasks with Reinforcement Learning
• Title（参考訳）: 強化学習による補助課題の生成
• Authors: Judah Goldfeder, Matthew So, Hod Lipson,
• Abstract要約: 補助学習(英: Auxiliary Learning、AL)は、モデルが補助的なタスクで訓練し、主目的の性能を高めるマルチタスク学習の一種である。 本稿では,各トレーニング例に補助ラベルを割り当てることで,補助タスクを動的に生成する強化学習フレームワークであるRL-AUXを提案する。 CIFAR-100を20のスーパークラスに分けた場合、RL法は人間のラベル付き補助作業より優れ、顕著な二段階最適化ベースラインの性能に適合する。
• 参考スコア（独自算出の注目度）: 5.948273590155768
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Auxiliary Learning (AL) is a form of multi-task learning in which a model trains on auxiliary tasks to boost performance on a primary objective. While AL has improved generalization across domains such as navigation, image classification, and NLP, it often depends on human-labeled auxiliary tasks that are costly to design and require domain expertise. Meta-learning approaches mitigate this by learning to generate auxiliary tasks, but typically rely on gradient based bi-level optimization, adding substantial computational and implementation overhead. We propose RL-AUX, a reinforcement-learning (RL) framework that dynamically creates auxiliary tasks by assigning auxiliary labels to each training example, rewarding the agent whenever its selections improve the performance on the primary task. We also explore learning per-example weights for the auxiliary loss. On CIFAR-100 grouped into 20 superclasses, our RL method outperforms human-labeled auxiliary tasks and matches the performance of a prominent bi-level optimization baseline. We present similarly strong results on other classification datasets. These results suggest RL is a viable path to generating effective auxiliary tasks.
• Abstract（参考訳）: 補助学習(英: Auxiliary Learning、AL)は、モデルが補助的なタスクで訓練し、主目的の性能を高めるマルチタスク学習の一種である。 ALはナビゲーション、画像分類、NLPといった領域間の一般化を改善してきたが、ドメインの専門知識を設計し要求するのにコストがかかる人為的なタスクに依存していることが多い。 メタラーニングアプローチは、補助的なタスクを生成するための学習によってこれを緩和するが、通常、グラデーションベースの双方向最適化に依存し、計算と実装のオーバーヘッドを大幅に増加させる。 本稿では,RL-AUXを提案する。RL-AUXは,各トレーニング例に補助ラベルを割り当て,その選択によって主タスクのパフォーマンスが向上するときにエージェントに報酬を与えることで,補助タスクを動的に生成するフレームワークである。 また,補助的損失に対する学習単位の重み付けについても検討する。 CIFAR-100を20のスーパークラスに分けた場合、RL法は人間のラベル付き補助作業より優れ、顕著な二段階最適化ベースラインの性能に適合する。 同様に、他の分類データセットにも強い結果を示す。 これらの結果から,RLは有効な補助タスクを生成するための有効な経路であることが示唆された。

関連論文リスト

• Coreset-Based Task Selection for Sample-Efficient Meta-Reinforcement Learning [1.2952597101899859]
  モデル非依存型メタ強化学習(MAML-RL)におけるサンプル効率向上のためのタスク選択の検討 勾配空間におけるタスクの多様性に基づいて,タスクの重み付きサブセットを選択する,コアセットベースのタスク選択手法を提案する。 複数のRLベンチマーク問題にまたがるこの傾向を数値的に検証し,LQRベースラインを越えたタスク選択の利点について考察した。
  論文  参考訳（メタデータ） (2025-02-04T14:09:00Z)
• Aux-NAS: Exploiting Auxiliary Labels with Negligibly Extra Inference Cost [73.28626942658022]
  本研究の目的は,独立タスク(副次タスク)から追加の補助ラベルを活用することで,タスクのパフォーマンスを向上させることである。 本手法は,主タスクと補助タスクのための柔軟な非対称構造を持つアーキテクチャに基づく。 VGG、ResNet、ViTのバックボーンを使用して、NYU v2、CityScapes、Taskonomyデータセット上の6つのタスクで実験を行った。
  論文  参考訳（メタデータ） (2024-05-09T11:50:19Z)
• ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
  大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。 我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。 実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T18:45:56Z)
• Sample Efficient Reinforcement Learning by Automatically Learning to Compose Subtasks [3.1594865504808944]
  サブタスクを表すラベルのセットを与えられた場合、サンプル効率のために報酬関数を自動的に構成するRLアルゴリズムを提案する。 我々は,様々なスパース・リワード環境におけるアルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2024-01-25T15:06:40Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data [100.33096338195723]
  補助データを用いたFew-shot Learning(FLAD)に焦点を当てる。 FLADは、一般化を改善するために、数ショットの学習中に補助データへのアクセスを前提としている。 提案するアルゴリズムは EXP3-FLAD と UCB1-FLAD の2つである。
  論文  参考訳（メタデータ） (2023-02-01T18:59:36Z)
• Reinforcement Learning with Automated Auxiliary Loss Search [34.83123677004838]
  補助的損失関数を用いたより良い表現を学習するための原理的,普遍的な手法を提案する。 具体的には、7.5×1020$の一般的な補助損失空間を定義し、効率的な進化的探索戦略を用いて空間を探索する。 その結果, 高次元(イメージ)と低次元(ベクター)の両タスクにおいて, 補助的損失が有意に改善されることが判明した。
  論文  参考訳（メタデータ） (2022-10-12T09:24:53Z)
• DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV [65.07776277630228]
  分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。 特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。 また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
  論文  参考訳（メタデータ） (2022-08-04T04:35:53Z)
• Lean Evolutionary Reinforcement Learning by Multitasking with Importance Sampling [20.9680985132322]
  本稿では,新しいニューロ進化的マルチタスク(NuEMT)アルゴリズムを導入し,一連の補助タスクからターゲット(フル長)RLタスクへ情報を伝達する。 我々は、NuEMTアルゴリズムがデータ-リーン進化RLであり、高価なエージェント-環境相互作用データ要求を減らすことを実証する。
  論文  参考訳（メタデータ） (2022-03-21T10:06:16Z)
• Auxiliary Task Reweighting for Minimum-data Learning [118.69683270159108]
  教師付き学習は大量のトレーニングデータを必要とし、ラベル付きデータが不足しているアプリケーションを制限する。 データ不足を補う1つの方法は、補助的なタスクを利用して、メインタスクに対する追加の監視を提供することである。 そこで本研究では,主タスクにおけるデータ要求を減らし,補助タスクを自動的に重み付けする手法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T08:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。