論文の概要: Balancing Average and Worst-case Accuracy in Multitask Learning

• arxiv url: http://arxiv.org/abs/2110.05838v1
• Date: Tue, 12 Oct 2021 09:00:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 12:16:15.679416
• Title: Balancing Average and Worst-case Accuracy in Multitask Learning
• Title（参考訳）: マルチタスク学習における平均値と最悪値のバランス
• Authors: Paul Michel and Sebastian Ruder and Dani Yogatama
• Abstract要約: 本稿では、分散ロバスト最適化(DRO)の手法を用いて、マルチタスク学習における最悪の性能を改善する方法について述べる。 これらの問題を緩和する改良されたLookahead-DRO(L-DRO)を提案する。 実験の結果,L-DROは計算オーバーヘッドが少なく,平均値と最悪の値とのトレードオフが良好であることがわかった。
• 参考スコア（独自算出の注目度）: 39.59582055620513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When training and evaluating machine learning models on a large number of tasks, it is important to not only look at average task accuracy -- which may be biased by easy or redundant tasks -- but also worst-case accuracy (i.e. the performance on the task with the lowest accuracy). In this work, we show how to use techniques from the distributionally robust optimization (DRO) literature to improve worst-case performance in multitask learning. We highlight several failure cases of DRO when applied off-the-shelf and present an improved method, Lookahead-DRO (L-DRO), which mitigates these issues. The core idea of L-DRO is to anticipate the interaction between tasks during training in order to choose a dynamic re-weighting of the various task losses, which will (i) lead to minimal worst-case loss and (ii) train on as many tasks as possible. After demonstrating the efficacy of L-DRO on a small controlled synthetic setting, we evaluate it on two realistic benchmarks: a multitask version of the CIFAR-100 image classification dataset and a large-scale multilingual language modeling experiment. Our empirical results show that L-DRO achieves a better trade-off between average and worst-case accuracy with little computational overhead compared to several strong baselines.
• Abstract（参考訳）: 機械学習モデルを多数のタスクでトレーニングし評価する場合、平均的なタスク精度(これは簡単なタスクや冗長なタスクに偏っている可能性がある)だけでなく、最悪のケースの精度(つまり、タスクのパフォーマンスが最低の精度で)を見ることが重要です。 本研究では、分散ロバスト最適化(DRO)の手法を用いて、マルチタスク学習における最悪の性能を改善する方法について述べる。 そこで本研究では,DROの故障事例をいくつか取り上げ,改良されたLookahead-DRO(L-DRO)を提案する。 L-DROの中核となる考え方は、様々なタスク損失の動的再重み付けを選択するために、トレーニング中のタスク間の相互作用を予測することである。 i)最小限の最悪の損失につながる (ii)できるだけ多くの仕事をこなす。 CIFAR-100画像分類データセットのマルチタスクバージョンと大規模多言語言語モデリング実験の2つの現実的なベンチマークでL-DROの有効性を実証した。 実験の結果,L-DROは計算オーバーヘッドが少なく,平均値と最悪の値とのトレードオフが良好であることがわかった。

関連論文リスト

• Guiding Through Complexity: What Makes Good Supervision for Hard Reasoning Tasks? [74.88417042125985]
  複雑さの異なるタスクにおいて、様々な品質レベルで監視データを提供する様々なデータ駆動戦略について検討する。 ハードタスクの監視における結果エラー率が高い場合でも、そのようなデータによるトレーニングは、より簡単なサブタスクの監督を完璧に上回ります。 また,本研究の結果から,タスク・インスペクションとサブタスク・インスペクションを補完することで,顕著なパフォーマンス向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-27T17:55:27Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
  マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。 我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。 正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-05T21:38:24Z)
• Task Selection and Assignment for Multi-modal Multi-task Dialogue Act Classification with Non-stationary Multi-armed Bandits [11.682678945754837]
  マルチタスク学習(MTL)は、関連する補助タスクと共同学習することで、一次タスクの性能を向上させることを目的としている。 これまでの研究では、このようなランダムなタスクの選択は役に立たない可能性があり、パフォーマンスに有害な可能性があることが示唆されている。 本稿では,非定常的マルチアームバンディットに基づくタスクの選択と割り当てを行う手法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T14:51:51Z)
• Identification of Negative Transfers in Multitask Learning Using Surrogate Models [29.882265735630046]
  マルチタスク学習は、複数の関連するソースタスクで強化することで、低リソースのターゲットタスクのトレーニングに広く使用されている。 マルチタスク学習における重要な問題は、ターゲットタスクに利益をもたらすソースタスクのサブセットを特定することである。 本稿では,サロゲートモデルを用いてこの問題に対処する効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T23:16:11Z)
• Cross-Task Consistency Learning Framework for Multi-Task Learning [9.991706230252708]
  2タスクMTL問題に対する新しい学習フレームワークを提案する。 サイクル一貫性損失とコントラスト学習に着想を得た2つの新たな損失項を定義する。 理論的には、どちらの損失もモデルをより効率的に学習する助けとなり、直進予測と整合する点において、クロスタスクの整合性損失がより良いことを証明している。
  論文  参考訳（メタデータ） (2021-11-28T11:55:19Z)
• Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP [39.457091182683406]
  非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。 分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
  論文  参考訳（メタデータ） (2021-11-02T01:50:09Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
  本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。 本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-17T20:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。