Fugu-MT 論文翻訳(概要): Learning to Teach Fairness-aware Deep Multi-task Learning

論文の概要: Learning to Teach Fairness-aware Deep Multi-task Learning

arxiv url: http://arxiv.org/abs/2206.08403v1
Date: Thu, 16 Jun 2022 18:43:16 GMT
ステータス: 処理完了
システム内更新日: 2022-06-20 13:07:45.838087
Title: Learning to Teach Fairness-aware Deep Multi-task Learning
Title（参考訳）: フェアネスを意識した深層マルチタスク学習の学習
Authors: Arjun Roy, Eirini Ntoutsi
Abstract要約: 本稿では,各ステップでどの目的(正確性や公平性)を最適化するかを選択することで,マルチタスク設定で公平になる方法を学ぶ柔軟なアプローチを提案する。 3つの実際のデータセットの実験では、L2T-FMTは最先端アプローチよりも公平性(12-19%)と正確性(最大2%)の両方を改善している。
参考スコア（独自算出の注目度）: 17.30805079904122
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fairness-aware learning mainly focuses on single task learning (STL). The fairness implications of multi-task learning (MTL) have only recently been considered and a seminal approach has been proposed that considers the fairness-accuracy trade-off for each task and the performance trade-off among different tasks. Instead of a rigid fairness-accuracy trade-off formulation, we propose a flexible approach that learns how to be fair in a MTL setting by selecting which objective (accuracy or fairness) to optimize at each step. We introduce the L2T-FMT algorithm that is a teacher-student network trained collaboratively; the student learns to solve the fair MTL problem while the teacher instructs the student to learn from either accuracy or fairness, depending on what is harder to learn for each task. Moreover, this dynamic selection of which objective to use at each step for each task reduces the number of trade-off weights from 2T to T, where T is the number of tasks. Our experiments on three real datasets show that L2T-FMT improves on both fairness (12-19%) and accuracy (up to 2%) over state-of-the-art approaches.
Abstract（参考訳）: 公正な学習は主に単一タスク学習(STL)に焦点を当てている。マルチタスク学習(MTL)の公平性は近年検討され,各タスクの公平性-正確性トレードオフと,タスク間のパフォーマンストレードオフを考慮したセミナルアプローチが提案されている。厳密な公正性-正確性トレードオフの定式化の代わりに、各ステップでどの目的(正確性または公正性)を最適化するかを選択することで、MPL設定で公平であることを学ぶ柔軟なアプローチを提案する。教師は,各課題の学習が困難であるものに応じて,教師に正確さと公平さのどちらかから学習するように指示する一方で,学生は公平なMLL問題を解決することを学習する。さらに、各タスクの各ステップで使用する対象の動的選択は、Tがタスクの数である2TからTへのトレードオフ重みの数を減少させる。 3つの実データセットに対する実験により,L2T-FMTは最先端アプローチよりも公平性(12-19%)と精度(最大2%)が向上することが示された。

関連論文リスト

Token-Efficient Leverage Learning in Large Language Models [13.830828529873056]
大規模言語モデル(LLM)は様々なタスクで優れていますが、高リソースのシナリオではより良く機能しています。データ不足と特定のタスクにLLMを適用することの難しさは、この課題を複雑にしている。本稿では,Token-Efficient Leverage Learning (TELL) と呼ばれる方法論の合理化実装を提案する。
論文参考訳（メタデータ） (2024-04-01T04:39:44Z)
Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
論文参考訳（メタデータ） (2024-02-23T22:46:14Z)
PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
論文参考訳（メタデータ） (2024-02-23T03:59:18Z)
Fair Few-shot Learning with Auxiliary Sets [53.30014767684218]
多くの機械学習(ML)タスクでは、ラベル付きデータサンプルしか収集できないため、フェアネスのパフォーマンスが低下する可能性がある。本稿では,限定的なトレーニングサンプルを用いたフェアネス認識学習課題をemphfair few-shot Learning問題として定義する。そこで我々は,学習した知識をメタテストタスクに一般化し,様々なメタトレーニングタスクに公平な知識を蓄積する新しいフレームワークを考案した。
論文参考訳（メタデータ） (2023-08-28T06:31:37Z)
Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文参考訳（メタデータ） (2022-02-28T16:07:19Z)
Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文参考訳（メタデータ） (2022-02-02T13:21:53Z)
Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文参考訳（メタデータ） (2021-11-09T18:49:45Z)
Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP [39.457091182683406]
非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
論文参考訳（メタデータ） (2021-11-02T01:50:09Z)
Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文参考訳（メタデータ） (2021-10-14T07:43:39Z)
Understanding and Improving Fairness-Accuracy Trade-offs in Multi-Task Learning [18.666340309506605]
我々は,マルチタスクシナリオにおいて,MLフェアネスの概念としてのグループフェアネスが果たす役割を懸念している。マルチタスク学習では、より効率的な帰納的伝達のためにタスク相関を利用するために、複数のタスクが共同で学習される。マルチタスク学習における公平性向上のためのマルチタスク認識フェアネス(MTA-F)アプローチを提案する。
論文参考訳（メタデータ） (2021-06-04T20:28:54Z)
Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
論文参考訳（メタデータ） (2020-10-29T08:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。