論文の概要: FairBranch: Mitigating Bias Transfer in Fair Multi-task Learning

• arxiv url: http://arxiv.org/abs/2310.13746v2
• Date: Tue, 24 Sep 2024 14:06:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 10:01:09.727021
• Title: FairBranch: Mitigating Bias Transfer in Fair Multi-task Learning
• Title（参考訳）: FairBranch: 公平なマルチタスク学習におけるバイアス転送の緩和
• Authors: Arjun Roy, Christos Koutlis, Symeon Papadopoulos, Eirini Ntoutsi,
• Abstract要約: マルチタスク学習(MTL)は、無関係なタスクが相反する勾配で共有パラメータを更新することで、互いに悪影響を及ぼすことに悩む。 これは負の転送と呼ばれ、シングルタスク学習(STL)と比較してMTLの精度が低下する。
• 参考スコア（独自算出の注目度）: 15.319254128769973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generalisation capacity of Multi-Task Learning (MTL) suffers when unrelated tasks negatively impact each other by updating shared parameters with conflicting gradients. This is known as negative transfer and leads to a drop in MTL accuracy compared to single-task learning (STL). Lately, there has been a growing focus on the fairness of MTL models, requiring the optimization of both accuracy and fairness for individual tasks. Analogously to negative transfer for accuracy, task-specific fairness considerations might adversely affect the fairness of other tasks when there is a conflict of fairness loss gradients between the jointly learned tasks - we refer to this as Bias Transfer. To address both negative- and bias-transfer in MTL, we propose a novel method called FairBranch, which branches the MTL model by assessing the similarity of learned parameters, thereby grouping related tasks to alleviate negative transfer. Moreover, it incorporates fairness loss gradient conflict correction between adjoining task-group branches to address bias transfer within these task groups. Our experiments on tabular and visual MTL problems show that FairBranch outperforms state-of-the-art MTLs on both fairness and accuracy.
• Abstract（参考訳）: マルチタスク学習(MTL)の一般化能力は、無関係なタスクが相反する勾配を持つ共有パラメータを更新することによって、互いに悪影響を及ぼす場合に悩む。 これは負の転送と呼ばれ、シングルタスク学習(STL)と比較してMTLの精度が低下する。 近年、MTLモデルの公平性に焦点が当てられ、個々のタスクの正確性と公平性の両方を最適化する必要がある。 正当性に対する負の伝達とは対照的に、タスク固有の公平性考慮は、共同学習されたタスクの間に公平性損失勾配の矛盾がある場合、他のタスクの公平性に悪影響を及ぼす可能性がある。 学習パラメータの類似性を評価することによってMTLモデルを分岐し,関連するタスクをグループ化して負の伝達を緩和する,FairBranchという手法を提案する。 さらに、タスク群内のバイアス伝達に対処するために、隣接するタスク群間の公正損失勾配コンフリクト補正を組み込む。 表状および視覚的MTL問題に対する実験により、FairBranchは、公正性と精度の両方で最先端のMTLよりも優れていることが示された。

関連論文リスト

• Mitigate Negative Transfer with Similarity Heuristic Lifelong Prompt Tuning [26.949872705635084]
  本稿では,Simisity Heuristic Lifelong Prompt Tuning(SH)フレームワークを提案する。 SHは、学習可能な類似度メトリックを利用することで、タスクを2つの異なるサブセットに分割する。 実験の結果,SHは生涯学習ベンチマークにおいて最先端技術よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-18T03:57:49Z)
• Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
  マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。 通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
  論文  参考訳（メタデータ） (2024-02-23T22:46:14Z)
• Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
  マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。 我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。 正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-05T21:38:24Z)
• Addressing Negative Transfer in Diffusion Models [25.457422246404853]
  マルチタスク学習(MTL)は拡散モデルにおいて負の伝達をもたらすことがある。 本稿では,タスクを小さなタスククラスタにクラスタ化し,MTL手法を適用することを提案する。 本研究では,信号対雑音比,時間ステップ,タスク親和性を利用して,動的プログラミングを用いて区間クラスタリングを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-01T05:17:07Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Learning to Teach Fairness-aware Deep Multi-task Learning [17.30805079904122]
  本稿では,各ステップでどの目的(正確性や公平性)を最適化するかを選択することで,マルチタスク設定で公平になる方法を学ぶ柔軟なアプローチを提案する。 3つの実際のデータセットの実験では、L2T-FMTは最先端アプローチよりも公平性(12-19%)と正確性(最大2%)の両方を改善している。
  論文  参考訳（メタデータ） (2022-06-16T18:43:16Z)
• FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
  マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。 本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
  論文  参考訳（メタデータ） (2022-03-24T17:43:12Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning [0.0]
  マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。 非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。 2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
  論文  参考訳（メタデータ） (2020-12-17T13:30:45Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。