論文の概要: Unprejudiced Training Auxiliary Tasks Makes Primary Better: A Multi-Task Learning Perspective
- arxiv url: http://arxiv.org/abs/2412.19547v1
- Date: Fri, 27 Dec 2024 09:27:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:26:07.784133
- Title: Unprejudiced Training Auxiliary Tasks Makes Primary Better: A Multi-Task Learning Perspective
- Title（参考訳）: 非偏差学習補助課題が初等的改善:マルチタスク学習の視点
- Authors: Yuanze Li, Chun-Mei Feng, Qilong Wang, Guanglei Yang, Wangmeng Zuo,
- Abstract要約: マルチタスク学習方法は、補助的なタスクを使用して、特定の一次タスク上でのニューラルネットワークのパフォーマンスを高めることを推奨する。
以前の方法では、しばしば補助的なタスクを慎重に選択するが、訓練中に二次的なものとして扱う。
本研究では,不確実性に基づく公平な学習手法を提案する。
- 参考スコア（独自算出の注目度）: 55.531894882776726
- License:
- Abstract: Human beings can leverage knowledge from relative tasks to improve learning on a primary task. Similarly, multi-task learning methods suggest using auxiliary tasks to enhance a neural network's performance on a specific primary task. However, previous methods often select auxiliary tasks carefully but treat them as secondary during training. The weights assigned to auxiliary losses are typically smaller than the primary loss weight, leading to insufficient training on auxiliary tasks and ultimately failing to support the main task effectively. To address this issue, we propose an uncertainty-based impartial learning method that ensures balanced training across all tasks. Additionally, we consider both gradients and uncertainty information during backpropagation to further improve performance on the primary task. Extensive experiments show that our method achieves performance comparable to or better than state-of-the-art approaches. Moreover, our weighting strategy is effective and robust in enhancing the performance of the primary task regardless the noise auxiliary tasks' pseudo labels.
- Abstract（参考訳）: 人間は、相対的なタスクからの知識を活用して、主要なタスクでの学習を改善することができる。
同様に、マルチタスク学習手法は、補助的なタスクを使用して、特定のプライマリタスク上でのニューラルネットワークのパフォーマンスを高めることを提案している。
しかし、従来の手法では補助的なタスクを慎重に選択することが多いが、訓練中は二次的に扱う。
補助的損失に割り当てられた重量は、典型的には一次的損失重量よりも小さく、補助的なタスクの訓練が不十分になり、最終的にはメインタスクを効果的に支援できなかった。
そこで本研究では,不確実性に基づく公平な学習手法を提案する。
さらに、バックプロパゲーション時の勾配と不確実性の両方を考慮し、メインタスクの性能をさらに向上させる。
実験の結果,本手法は最先端手法に匹敵する性能を示した。
さらに,ノイズ補助タスクの擬似ラベルによらず,主タスクの性能を高める上で,重み付け戦略は有効かつ堅牢である。
関連論文リスト
- Reinforcement Learning via Auxiliary Task Distillation [24.87090247662755]
補助的タスク蒸留(AuxDistill)による強化学習について紹介する。
AuxDistillは、補助的なタスクから振舞いを蒸留することにより、強化学習により長距離ロボット制御問題を実行することができる。
我々は,AuxDistillが,実演や学習カリキュラム,事前訓練を受けたスキルを使わずに,多段階の具体的オブジェクト再構成作業を行うための画素対アクションポリシーを学習できることを実証した。
論文 参考訳（メタデータ） (2024-06-24T23:02:18Z) - Instruction Matters: A Simple yet Effective Task Selection for Optimized Instruction Tuning of Specific Tasks [51.15473776489712]
本稿では,命令情報のみを利用してタスクを識別する,シンプルで効果的なタスク選択手法を提案する。
提案手法は,タスク間のペア転送可能性の複雑な測定や,対象タスクのためのデータサンプルの作成を必要とする従来の手法に比べて,はるかに効率的である。
実験の結果、命令のみに選択されたタスクセットのトレーニングにより、P3、Big-Bench、NIV2、Big-Bench Hardといったベンチマークのパフォーマンスが大幅に改善された。
論文 参考訳（メタデータ） (2024-04-25T08:49:47Z) - Auxiliary Learning as an Asymmetric Bargaining Game [50.826710465264505]
補助学習におけるタスクのバランスをとるために,AuxiNashという新しい手法を提案する。
本報告では,主課題の性能に対する貢献に基づいて,タスクの獲得能力を学ぶための効率的な手順について述べる。
複数のマルチタスクベンチマークでAuxiNashを評価し、競合する手法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-01-31T09:41:39Z) - Auxiliary task discovery through generate-and-test [7.800263769988046]
補助的なタスクは、エージェントに補助的な予測と制御目的を学習させることで、データ効率を向上させる。
本稿では,表現学習のアイデアに基づく強化学習における補助的タスク発見へのアプローチについて検討する。
本研究は,これらの特徴が主課題にどの程度有用かに基づいて,補助課題の有用性を示す新しい尺度を提案する。
論文 参考訳（メタデータ） (2022-10-25T22:04:37Z) - Transfer Learning in Conversational Analysis through Reusing
Preprocessing Data as Supervisors [52.37504333689262]
単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。
補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2021-12-02T08:40:42Z) - Should We Be Pre-training? An Argument for End-task Aware Training as an
Alternative [88.11465517304515]
一般に、事前学習のステップは、モデルを微調整するタスクについて、ほとんど、あるいは全く直接の知識に依存しない。
エンドタスクと補助目的をマルチタスクすることで、ダウンストリームタスクのパフォーマンスが大幅に向上することを示す。
論文 参考訳（メタデータ） (2021-09-15T17:13:18Z) - Auxiliary Task Reweighting for Minimum-data Learning [118.69683270159108]
教師付き学習は大量のトレーニングデータを必要とし、ラベル付きデータが不足しているアプリケーションを制限する。
データ不足を補う1つの方法は、補助的なタスクを利用して、メインタスクに対する追加の監視を提供することである。
そこで本研究では,主タスクにおけるデータ要求を減らし,補助タスクを自動的に重み付けする手法を提案する。
論文 参考訳（メタデータ） (2020-10-16T08:45:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。