論文の概要: Improving Multi-Task Generalization via Regularizing Spurious Correlation

• arxiv url: http://arxiv.org/abs/2205.09797v1
• Date: Thu, 19 May 2022 18:31:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-06 04:06:39.779490
• Title: Improving Multi-Task Generalization via Regularizing Spurious Correlation
• Title（参考訳）: 正則化スパージャ相関によるマルチタスク一般化の改善
• Authors: Ziniu Hu and Zhe Zhao and Xinyang Yi and Tiansheng Yao and Lichan Hong and Yizhou Sun and Ed H. Chi
• Abstract要約: マルチタスク学習(MTL)は知識共有による一般化性能向上のための強力な学習パラダイムである。 本稿では,多タスクの知識を表現するフレームワークを提案し,各タスクにどのモジュールが因果関係であるかを学習する。 MTLモデルの性能をMulti-MNIST、MovieLens、Taskonomy、CityScape、NYUv2で平均5.5%向上させることができる。
• 参考スコア（独自算出の注目度）: 41.93623986464747
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Multi-Task Learning (MTL) is a powerful learning paradigm to improve generalization performance via knowledge sharing. However, existing studies find that MTL could sometimes hurt generalization, especially when two tasks are less correlated. One possible reason that hurts generalization is spurious correlation, i.e., some knowledge is spurious and not causally related to task labels, but the model could mistakenly utilize them and thus fail when such correlation changes. In MTL setup, there exist several unique challenges of spurious correlation. First, the risk of having non-causal knowledge is higher, as the shared MTL model needs to encode all knowledge from different tasks, and causal knowledge for one task could be potentially spurious to the other. Second, the confounder between task labels brings in a different type of spurious correlation to MTL. We theoretically prove that MTL is more prone to taking non-causal knowledge from other tasks than single-task learning, and thus generalize worse. To solve this problem, we propose Multi-Task Causal Representation Learning framework, aiming to represent multi-task knowledge via disentangled neural modules, and learn which module is causally related to each task via MTL-specific invariant regularization. Experiments show that it could enhance MTL model's performance by 5.5% on average over Multi-MNIST, MovieLens, Taskonomy, CityScape, and NYUv2, via alleviating spurious correlation problem.
• Abstract（参考訳）: マルチタスク学習(MTL)は知識共有による一般化性能向上のための強力な学習パラダイムである。 しかし、既存の研究では、特に2つのタスクの相関が低い場合、MTLが一般化を損なうことがある。 一般化を損なう理由の1つは、スプリアス相関(sprious correlation)、すなわち、いくつかの知識はスプリアスであり、タスクラベルに因果関係はないが、モデルがそれを誤用し、そのような相関が変化した場合に失敗する可能性がある。 MTL設定では、刺激的な相関に関するいくつかのユニークな課題が存在する。 共有mtlモデルは、異なるタスクからのすべての知識をエンコードする必要があるため、一方のタスクの因果知識は他方に拍車をかける可能性がある。 第2に、タスクラベルの共創者は、MTLと異なる種類の刺激的相関をもたらす。 理論的には、MTLはシングルタスク学習よりも、他のタスクから非因果的知識を取る傾向があり、それによってより一般化される。 そこで本研究では,神経モジュールの疎結合によるマルチタスク知識の表現を目的とし,mtl固有の不変正規化によって各タスクに因果関係のあるモジュールを学習するマルチタスク因果表現学習フレームワークを提案する。 実験の結果、mtlモデルの性能は、スプリアス相関問題を緩和することで、マルチmnist、movielens、taskonomy、cityscape、nyuv2よりも平均5.5%向上することが判明した。

関連論文リスト

• Can Optimization Trajectories Explain Multi-Task Transfer? [19.797036312370185]
  マルチタスク学習がディープラーニングの一般化に与える影響について検討する。 MTLは、単一タスクとマルチタスクの軌跡間の訓練損失に匹敵する一般化のギャップを生じる。 我々の研究は、MTLにおける障害の原因について光を当て、そして重要なことは、汎用マルチタスク最適化アルゴリズムの役割に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-08-26T22:57:01Z)
• A Unified Causal View of Instruction Tuning [76.1000380429553]
  メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。 主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
  論文  参考訳（メタデータ） (2024-02-09T07:12:56Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review [7.776434991976473]
  マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。 このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-25T20:08:41Z)
• When Does Aggregating Multiple Skills with Multi-Task Learning Work? A Case Study in Financial NLP [22.6364117325639]
  マルチタスク学習(MTL)は、複数のタスクからデータと知識を活用することにより、よりよいモデルを実現することを目的としている。 以上の結果から,MTLの成功の鍵は,スキル多様性,タスク間の関連性,集約サイズと共有能力の選択にあることが示唆された。
  論文  参考訳（メタデータ） (2023-05-23T12:37:14Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。